JP2011227513A - 撮像装置、合焦装置、撮像方法および合焦方法 - Google Patents
撮像装置、合焦装置、撮像方法および合焦方法 Download PDFInfo
- Publication number
- JP2011227513A JP2011227513A JP2011142394A JP2011142394A JP2011227513A JP 2011227513 A JP2011227513 A JP 2011227513A JP 2011142394 A JP2011142394 A JP 2011142394A JP 2011142394 A JP2011142394 A JP 2011142394A JP 2011227513 A JP2011227513 A JP 2011227513A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- microlens
- pixels
- focusing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】 被写界像を撮像する撮像素子を合焦制御にも用いる簡単な構成でさまざまな撮像条件に応じて正確に且つ高精度に自動合焦制御する。
【解決手段】 合焦装置は、被写界像を撮像光学系１を介して撮像素子３の受光部に結像させ被写界の画像データを得る撮像系に設けられる。撮像素子３の受光部に画面を横切って直線状に配列される複数のマイクロレンズは、複数画素にわたって受光部を覆い、これら複数画素に撮像光学系１の射出瞳位置に応じて光を導くマイクロレンズアレイ４を設ける。各マイクロレンズに対応する複数画素のうち、各射出瞳位置に対応する画素データを複数のマイクロレンズにわたって抜き出し、射出瞳位置に応じた複数の一次元像を再構成して、これら複数の一次元像を比較することにより、被写体の合焦情報を得る。撮像素子３のマイクロレンズにより覆われた画素以外の画素による画素データを用いて被写界画像を生成する。
【選択図】 図１
【解決手段】 合焦装置は、被写界像を撮像光学系１を介して撮像素子３の受光部に結像させ被写界の画像データを得る撮像系に設けられる。撮像素子３の受光部に画面を横切って直線状に配列される複数のマイクロレンズは、複数画素にわたって受光部を覆い、これら複数画素に撮像光学系１の射出瞳位置に応じて光を導くマイクロレンズアレイ４を設ける。各マイクロレンズに対応する複数画素のうち、各射出瞳位置に対応する画素データを複数のマイクロレンズにわたって抜き出し、射出瞳位置に応じた複数の一次元像を再構成して、これら複数の一次元像を比較することにより、被写体の合焦情報を得る。撮像素子３のマイクロレンズにより覆われた画素以外の画素による画素データを用いて被写界画像を生成する。
【選択図】 図１
Description
本発明は、例えばディジタルカメラのように被写界像を撮像光学系を介して撮像素子受光部に結像させ被写界の画像データを得る撮像系にて撮像光学系を被写体に合焦させて被写界像を撮像する撮像装置およびそのような合焦のための合焦装置、ならびにそのような合焦を行う撮像方法およびそのような撮像装置における合焦方法に関するものである。
従来、例えばディジタルカメラ等のように被写界像を撮像光学系を介して撮像素子受光部に結像させ被写界の画像データを得る撮像系を有する撮像装置においては、一般的に、撮像光学系を自動的に被写体にピント合わせ、すなわち合焦をさせるためのＡＦ機能、つまり自動合焦制御機能を備えている。この自動的なピント合わせ（ＡＦ）に用いられるＡＦ（自動合焦制御）方式としては、この種の撮像装置が撮像素子を内蔵していることから、撮像素子の画像データからコントラスト値（合焦評価値）を算出し、撮像レンズ（におけるフォーカシング、つまりピント合わせのための主レンズ）の位置を変えながら取得したコントラスト値が最も高いレンズ位置を最もピントが合っているとして合焦を検出する方式、いわゆる山登り方式、が一般的である。このような山登り方式の適用に際しては、撮像視野を複数の領域に分けて、撮像レンズを繰り出しながら合焦情報としてのコントラスト値を取得し、所定の閾値より大きな至近側でのピーク位置をフォーカス位置とし、撮影時には、このフォーカス位置に対応させて撮像レンズを駆動することも行われる。
ところが、この山登り方式は、実際にフォーカシング用の主レンズを駆動してピントを見つける方式であるので、自動合焦制御に要する時間が長くなる傾向があり、特に長焦点レンズでは、主レンズの駆動量が多くなり自動合焦制御に要する時間が著しく長くなる。
このような山登り方式以外に、三角測距方式や位相差方式が既に知られている。
従来の三角測距方式は、撮像装置の撮像レンズとは別途に設けられた光学系で三角測量を行って測距する方式であり、主レンズを動かすことをせずに、被写体の測距情報から主レンズのピント位置を求めるので、主レンズを合焦位置へ高速に駆動することができる。この三角測距方式は、具体的には、例えば左右別々の光学系で被写体像をそれぞれ、左右の受光センサアレイに結像させ、それら左右像の結像位置のずれを合焦情報として求め、それに基づいて被写体の距離を求めるものである。測距センサについては、このような三角測距方式で撮像視野の複数の領域の測距を行う製品が商品化されている。
このようにして、三角測距方式においては、実際に撮像レンズを動かすことなく被写体のフォーカス位置を判定することができる。しかしながら、三角測距方式は、原理的に遠距離側で精度が低下するので、ズーム倍率の大きな撮像装置には向いていないという問題があった。
このような山登り方式以外に、三角測距方式や位相差方式が既に知られている。
従来の三角測距方式は、撮像装置の撮像レンズとは別途に設けられた光学系で三角測量を行って測距する方式であり、主レンズを動かすことをせずに、被写体の測距情報から主レンズのピント位置を求めるので、主レンズを合焦位置へ高速に駆動することができる。この三角測距方式は、具体的には、例えば左右別々の光学系で被写体像をそれぞれ、左右の受光センサアレイに結像させ、それら左右像の結像位置のずれを合焦情報として求め、それに基づいて被写体の距離を求めるものである。測距センサについては、このような三角測距方式で撮像視野の複数の領域の測距を行う製品が商品化されている。
このようにして、三角測距方式においては、実際に撮像レンズを動かすことなく被写体のフォーカス位置を判定することができる。しかしながら、三角測距方式は、原理的に遠距離側で精度が低下するので、ズーム倍率の大きな撮像装置には向いていないという問題があった。
また、位相差方式は、従来、主として一眼レフ（一眼レフレックス）タイプのカメラで採用されており、例えば特許文献１（米国特許第４，１８５，１９１号）等に示されるように、ピント合わせ用の主レンズの光束をハーフミラーによって別途に用意したピント検出用の光学系に導き、画像生成用の撮像素子とは別途に設けられたピント検出用の一次元の撮像素子であるラインセンサで主レンズのピントのずれを検出するものである。
すなわち、具体的には、図２３に示すように、合焦時に撮像レンズ（図では主レンズで代表して示している）の周辺部を通る２つの光束は撮像位置等価面で結像し、分離してコンデンサレンズを経てそれぞれセパレータレンズに入射し、これらのセパレータレンズによってＡＦ用のラインセンサ、例えば一次元ＣＣＤ固体撮像素子、に結像する。合焦時には、図２３（ａ）のように一定間隔を存した２つの像を形成する。撮像面よりも前方に結像した状態、いわゆる前ピンでは図２３（ｂ）のように２つの像の間隔が合焦時よりも狭い状態、撮像面よりも後方に結像した状態、いわゆる後ピンでは図２３（ｃ）のように２つの像の間隔が合焦時よりも狭い状態となり、これらのような像間隔とその差に基づいて、ピントがずれている方向およびずれ量を検出する。ところが、合焦点を判定したい画像撮影用の撮像素子上には、これらＡＦ用のコンデンサレンズおよびセパレータレンズ等を配置することができないため、主レンズと撮像素子との間に、撮像光束の一部を反射ミラー等によってＡＦ用光束として分離偏向してＡＦ用のラインセンサに入力させるための光学系部材を配置している。
すなわち、具体的には、図２３に示すように、合焦時に撮像レンズ（図では主レンズで代表して示している）の周辺部を通る２つの光束は撮像位置等価面で結像し、分離してコンデンサレンズを経てそれぞれセパレータレンズに入射し、これらのセパレータレンズによってＡＦ用のラインセンサ、例えば一次元ＣＣＤ固体撮像素子、に結像する。合焦時には、図２３（ａ）のように一定間隔を存した２つの像を形成する。撮像面よりも前方に結像した状態、いわゆる前ピンでは図２３（ｂ）のように２つの像の間隔が合焦時よりも狭い状態、撮像面よりも後方に結像した状態、いわゆる後ピンでは図２３（ｃ）のように２つの像の間隔が合焦時よりも狭い状態となり、これらのような像間隔とその差に基づいて、ピントがずれている方向およびずれ量を検出する。ところが、合焦点を判定したい画像撮影用の撮像素子上には、これらＡＦ用のコンデンサレンズおよびセパレータレンズ等を配置することができないため、主レンズと撮像素子との間に、撮像光束の一部を反射ミラー等によってＡＦ用光束として分離偏向してＡＦ用のラインセンサに入力させるための光学系部材を配置している。
このような位相差方式によってもピントのずれ方向やずれ量を検出できるので、主レンズをピントの合った位置に高速に駆動することができる。
しかしながら、このような位相差方式は、ＡＦ用のコンデンサレンズおよびセパレータレンズを設け、主レンズと撮像素子との間に、撮像光束の一部を分離偏向する反射ミラー等の光学系部材を配置するなど構成が複雑化して装置が大きくなり、コンパクトな撮像装置を作ることができないという問題がある。
また、例えば、特許文献２（特開２００４−２７９６８３号）等には、山登り方式と三角測距方式を組み合わせたＡＦ方式が開示されており、特許文献３（特開２００２−３２８２９３号）等には、山登り方式と位相差方式を組み合わせたＡＦ方式が開示されている。しかしながら、これらのＡＦ方式は、ピント合わせ用の主レンズとは別途に光学系および測定用素子等が必要であり、高価で、しかも撮像装置を小型化することができないという問題があった。
しかしながら、このような位相差方式は、ＡＦ用のコンデンサレンズおよびセパレータレンズを設け、主レンズと撮像素子との間に、撮像光束の一部を分離偏向する反射ミラー等の光学系部材を配置するなど構成が複雑化して装置が大きくなり、コンパクトな撮像装置を作ることができないという問題がある。
また、例えば、特許文献２（特開２００４−２７９６８３号）等には、山登り方式と三角測距方式を組み合わせたＡＦ方式が開示されており、特許文献３（特開２００２−３２８２９３号）等には、山登り方式と位相差方式を組み合わせたＡＦ方式が開示されている。しかしながら、これらのＡＦ方式は、ピント合わせ用の主レンズとは別途に光学系および測定用素子等が必要であり、高価で、しかも撮像装置を小型化することができないという問題があった。
さらに、例えば特許文献４（特開２００２−１６５１２６号）等には、高精度で迅速な位相差方式合焦検出を実現する目的で、１つのマイクロレンズに対して設けられた１つの画素の光電変換部が、撮像光学系のある領域を通過した光を受光する第一の光電変換部と、撮像光学系の他の領域を通過した光を受光する第二の光電変換部とからなる一対の光電変換部を備えた撮像素子を用いて被写体像を撮像するとともに、異なる射出瞳を通過した光を受光する第一および第二の光電変換部の出力を利用してピント位置検出を行う撮像装置の構成が開示されている。
このような特許文献４（特開２００２−１６５１２６号）の撮像装置では、特殊な構成の撮像素子によって、被写体像の撮像と位相差方式によるＡＦを行うことが可能となる。しかしながら、位相差方式が撮像レンズの射出瞳位置を通過した光による一次元像の位置ずれによってピントずれを検出するものであるために、ピントずれ検出に用いられる射出瞳位置が絞りによって遮られてしまっては適切なピントずれ検出を行うことができなくなる。そこで、この特許文献４（特開２００２−１６５１２６号）の撮像装置においては、撮像レンズの異なる絞り値に対応するために、例えば異なる射出瞳を通過した光を受光する第一の光電変換部と第二の光電変換部との間隔が異なる画素を予め用意しておいて、絞り値に応じてこれらを使い分けるなどしている。
このような特許文献４（特開２００２−１６５１２６号）の撮像装置では、特殊な構成の撮像素子によって、被写体像の撮像と位相差方式によるＡＦを行うことが可能となる。しかしながら、位相差方式が撮像レンズの射出瞳位置を通過した光による一次元像の位置ずれによってピントずれを検出するものであるために、ピントずれ検出に用いられる射出瞳位置が絞りによって遮られてしまっては適切なピントずれ検出を行うことができなくなる。そこで、この特許文献４（特開２００２−１６５１２６号）の撮像装置においては、撮像レンズの異なる絞り値に対応するために、例えば異なる射出瞳を通過した光を受光する第一の光電変換部と第二の光電変換部との間隔が異なる画素を予め用意しておいて、絞り値に応じてこれらを使い分けるなどしている。
上述したように特許文献４（特開２００２−１６５１２６号）の撮像装置においては、ピントずれが検出される射出瞳位置が、第一の光電変換部と第二の光電変換部との間隔によって定まる特定の射出瞳位置に制限されるため、絞り値（Ｆ値）の大きな変化やズーミングに対応することができず、ピントずれが検出される前記射出瞳位置を光軸が垂直に交わる面内で移動させることもできない。また、撮像素子の微細加工が必要であり、実質的に撮像素子のピントずれ検出に用いる画素２つ分を撮像に用いる１つの画素として用いることになるため、撮像される画像形成に寄与する画素密度が撮像素子構造における画素密度の半分になってしまう。
本発明は、上述した事情に鑑みてなされたもので、被写界像を撮像する撮像素子を合焦制御にも用いる簡単な構成でさまざまな撮像条件に応じて正確に且つ高精度に自動合焦制御することを可能とする撮像装置、合焦装置、撮像方法および合焦方法を提供することを目的としている。
本発明は、上述した事情に鑑みてなされたもので、被写界像を撮像する撮像素子を合焦制御にも用いる簡単な構成でさまざまな撮像条件に応じて正確に且つ高精度に自動合焦制御することを可能とする撮像装置、合焦装置、撮像方法および合焦方法を提供することを目的としている。
本発明の請求項１の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像装置を提供することにある。
本発明の請求項２の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像装置を提供することにある。
本発明の請求項３の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することを可能とする撮像装置を提供することにある。
本発明の請求項４の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする撮像装置を提供することにある。
本発明の請求項２の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像装置を提供することにある。
本発明の請求項３の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することを可能とする撮像装置を提供することにある。
本発明の請求項４の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする撮像装置を提供することにある。
本発明の請求項５の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦装置を提供することにある。
本発明の請求項６の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦装置を提供することにある。
本発明の請求項７の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することを可能とする合焦装置を提供することにある。
本発明の請求項６の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦装置を提供することにある。
本発明の請求項７の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することを可能とする合焦装置を提供することにある。
本発明の請求項８の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする合焦装置を提供することにある。
本発明の請求項９の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項９の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項１０の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項１１の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項１２の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項１１の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項１２の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項１３の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦方法を提供することにある。
本発明の請求項１４の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦方法を提供することにある。
本発明の請求項１５の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することを可能とする合焦方法を提供することにある。
本発明の請求項１６の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする合焦方法を提供することにある。
本発明の請求項１４の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦方法を提供することにある。
本発明の請求項１５の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することを可能とする合焦方法を提供することにある。
本発明の請求項１６の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする合焦方法を提供することにある。
請求項１に記載した本発明に係る撮像装置は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、
前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、
前記合焦情報取得手段により得られる合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、
を具備してなり、
前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴としている。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、
前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、
前記合焦情報取得手段により得られる合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、
を具備してなり、
前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴としている。
請求項２に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る
ことを特徴としている。
請求項３に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
請求項４に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る
ことを特徴としている。
請求項３に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
請求項４に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
請求項５に記載した本発明に係る合焦装置は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、
前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、
前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、
を具備してなり、
前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させることを特徴としている。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、
前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、
前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、
を具備してなり、
前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させることを特徴としている。
請求項６に記載した本発明に係る合焦装置は、請求項５の合焦装置であって、
前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることを特徴としている。
請求項７に記載した本発明に係る合焦装置は、請求項５の合焦装置であって、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることを特徴としている。
請求項７に記載した本発明に係る合焦装置は、請求項５の合焦装置であって、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
請求項８に記載した本発明に係る合焦装置は、請求項５の合焦装置であって、
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
請求項９に記載した本発明に係る撮像方法は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴としている。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴としている。
請求項１０に記載した本発明に係る撮像方法は、請求項９の撮像方法であって、
前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、
前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、
前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることを特徴としている。
請求項１１に記載した本発明に係る撮像方法は、請求項９の撮像方法であって、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、
前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、
前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることを特徴としている。
請求項１１に記載した本発明に係る撮像方法は、請求項９の撮像方法であって、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
請求項１２に記載した本発明に係る撮像方法は、請求項９の撮像方法であって、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
請求項１３に記載した本発明に係る合焦方法は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における合焦方法において、
前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることを特徴としている。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における合焦方法において、
前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることを特徴としている。
請求項１４に記載した本発明に係る合焦方法は、請求項１３の合焦方法であって、
前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、
前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、
前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることを特徴としている。
請求項１５に記載した本発明に係る合焦方法は、請求項１３の合焦方法であって、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、
前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、
前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることを特徴としている。
請求項１５に記載した本発明に係る合焦方法は、請求項１３の合焦方法であって、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
請求項１６に記載した本発明に係る合焦方法は、請求項１３の合焦方法であって、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
本発明によれば、被写界像を撮像する撮像素子を合焦制御にも用いる簡単な構成でさまざまな撮像条件に応じて正確に且つ高精度に自動合焦制御することを可能とする撮像装置、合焦装置、撮像方法および撮像装置の合焦方法を提供することができる。
すなわち、本発明の請求項１の撮像装置によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、
前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、
前記合焦情報取得手段により得られる合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、
を具備してなり、
前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることによって、
特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、
前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、
前記合焦情報取得手段により得られる合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、
を具備してなり、
前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることによって、
特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
また、本発明の請求項２の撮像装置によれば、請求項１の撮像装置において、
前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項３の撮像装置によれば、請求項１の撮像装置において、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することが可能となる。
前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項３の撮像装置によれば、請求項１の撮像装置において、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することが可能となる。
本発明の請求項４の撮像装置によれば、請求項１の撮像装置において、
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
本発明の請求項５の合焦装置によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、
前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、
前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、
を具備してなり、
前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させることによって、
特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、
前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、
前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、
を具備してなり、
前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させることによって、
特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
また、本発明の請求項６の合焦装置によれば、請求項５の合焦装置において、
前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項７の合焦装置によれば、請求項５の合焦装置において、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することが可能となる。
前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項７の合焦装置によれば、請求項５の合焦装置において、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することが可能となる。
本発明の請求項８の合焦装置によれば、請求項５の合焦装置において、
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
本発明の請求項９の撮像方法によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることによって、
特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることによって、
特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
また、本発明の請求項１０の撮像方法によれば、請求項９の撮像方法において、
前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、
前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、
前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項１１の撮像方法によれば、請求項９の撮像方法において、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することが可能となる。
前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、
前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、
前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項１１の撮像方法によれば、請求項９の撮像方法において、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することが可能となる。
本発明の請求項１２の撮像方法によれば、請求項９の撮像方法において、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
本発明の請求項１３の合焦方法によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における合焦方法において、
前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることによって、
特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における合焦方法において、
前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることによって、
特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
また、本発明の請求項１４の合焦方法によれば、請求項１３の合焦方法において、
前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、
前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、
前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項１５の合焦方法によれば、請求項１３の合焦方法において、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することが可能となる。
前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、
前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、
前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項１５の合焦方法によれば、請求項１３の合焦方法において、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することが可能となる。
本発明の請求項１６の合焦方法によれば、請求項１３の合焦方法において、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
以下、本発明の実施の形態に基づき、図面を参照して本発明の撮像装置、合焦装置、撮像方法および合焦方法を詳細に説明する。
図１〜図５は、本発明の第１の実施の形態に係る撮像装置の要部の構成を示している。図１は、撮像装置の要部の構成を模式的に示す概念図、図２は、図１の撮像装置に使用される撮像用の光学系である撮像レンズの具体的な構成の一例を示す模式的な断面図、図３は、図１の撮像装置に使用されるマイクロレンズアレイの具体的な構成の一例を示す模式的な斜視図、図４は、図１の撮像装置に使用されるマイクロレンズアレイを構成する個々のマイクロレンズの仕様の一例を説明するための模式図、そして図５は、図１の撮像装置におけるメインレンズと、マイクロレンズアレイのマイクロレンズと、撮像素子の画素群との関係を説明するための模式図である。
図１〜図５に示す撮像装置は、撮像レンズ１、絞り２、撮像素子３およびマイクロレンズアレイ４を具備している。
図１〜図５は、本発明の第１の実施の形態に係る撮像装置の要部の構成を示している。図１は、撮像装置の要部の構成を模式的に示す概念図、図２は、図１の撮像装置に使用される撮像用の光学系である撮像レンズの具体的な構成の一例を示す模式的な断面図、図３は、図１の撮像装置に使用されるマイクロレンズアレイの具体的な構成の一例を示す模式的な斜視図、図４は、図１の撮像装置に使用されるマイクロレンズアレイを構成する個々のマイクロレンズの仕様の一例を説明するための模式図、そして図５は、図１の撮像装置におけるメインレンズと、マイクロレンズアレイのマイクロレンズと、撮像素子の画素群との関係を説明するための模式図である。
図１〜図５に示す撮像装置は、撮像レンズ１、絞り２、撮像素子３およびマイクロレンズアレイ４を具備している。
図１の撮像装置において、撮像レンズ１は、具体的には、例えば、図２に示すような多数のレンズから構成される撮像光学系であり、図１等においては、理解を容易にするために、図２のような複数のレンズを代表する１つのメインレンズからなる撮像レンズ１として示している。
図２に示す撮像レンズ１は、例えば焦点距離を所望に応じて変更し得るズームレンズとして構成され、図示のように物体側から、順次、第１レンズ群Ｇ１、第２レンズ群Ｇ２、第３レンズ群Ｇ３および第４レンズ群Ｇ４を配置して構成されている。第１レンズ群Ｇ１は、物体側に凸面を向けた負メニスカスレンズおよび物体側に凸面を向けた正メニスカスレンズを互いに密着させてなる接合レンズと、物体側に凸面を向けた正メニスカスレンズとを物体側から順次配置して構成され、第１のズーム群として機能する。第２レンズ群Ｇ２は、物体側に凸面を向けた負メニスカスレンズと、像面側に凸面を向けた平凸レンズからなる正レンズおよび像面側に凸面を向けた負メニスカスレンズを互いに密着させてなる接合レンズとを物体側から順次配置して構成され、第２のズーム群として機能する。第３レンズ群Ｇ３は、両凸レンズからなる正レンズと、両凸レンズからなる正レンズおよび両凹レンズからなる負レンズを互いに密着させてなる接合レンズとを物体側から順次配置して構成され、フォーカス調整用のフォーカス群として機能する。第４レンズ群Ｇ４は、像面側に強い曲率の凸面を向けた単一の両凸レンズからなる正レンズで構成される。第２レンズ群Ｇ２と第３レンズ群Ｇ３との間に絞り２が介挿配置され、第４レンズ群Ｇ４の物体から遠い面側に像面、すなわち撮像素子による撮像面が形成される。
図２に示す撮像レンズ１は、例えば焦点距離を所望に応じて変更し得るズームレンズとして構成され、図示のように物体側から、順次、第１レンズ群Ｇ１、第２レンズ群Ｇ２、第３レンズ群Ｇ３および第４レンズ群Ｇ４を配置して構成されている。第１レンズ群Ｇ１は、物体側に凸面を向けた負メニスカスレンズおよび物体側に凸面を向けた正メニスカスレンズを互いに密着させてなる接合レンズと、物体側に凸面を向けた正メニスカスレンズとを物体側から順次配置して構成され、第１のズーム群として機能する。第２レンズ群Ｇ２は、物体側に凸面を向けた負メニスカスレンズと、像面側に凸面を向けた平凸レンズからなる正レンズおよび像面側に凸面を向けた負メニスカスレンズを互いに密着させてなる接合レンズとを物体側から順次配置して構成され、第２のズーム群として機能する。第３レンズ群Ｇ３は、両凸レンズからなる正レンズと、両凸レンズからなる正レンズおよび両凹レンズからなる負レンズを互いに密着させてなる接合レンズとを物体側から順次配置して構成され、フォーカス調整用のフォーカス群として機能する。第４レンズ群Ｇ４は、像面側に強い曲率の凸面を向けた単一の両凸レンズからなる正レンズで構成される。第２レンズ群Ｇ２と第３レンズ群Ｇ３との間に絞り２が介挿配置され、第４レンズ群Ｇ４の物体から遠い面側に像面、すなわち撮像素子による撮像面が形成される。
図２の撮像レンズは、第１および第２のズーム群である第１レンズ群Ｇ１および第２レンズ群Ｇ２を移動させてズーミングを行い、フォーカス群である第３レンズ群Ｇ３を移動させてピント合わせを行う。
図１においては、絞り２は、撮像レンズ１の光軸（主光軸）とほぼ平行な絞りターレット軸を中心として回転可能に設けられる円盤状の遮光板に口径の異なる開口を同一円周上に複数個配置しており、回転操作により撮像レンズ１の光軸（主光軸）上に所要の口径の開口を挿入することによって絞り開口をターレット形式で選択する方式の、いわゆる絞りターレットとして模式的に示している。ここでは、絞り２は、模式的に絞りターレットとして示したが、もちろん、絞り２は、複数の絞り羽根の開閉操作により絞り開口を調整する一般的な絞り機構によって構成しても良い。
撮像素子３は、ＣＭＯＳ（相補型金属酸化物半導体）およびＣＣＤ（電荷結合素子）等からなるイメージセンサとしての固体撮像素子であり、その前面にマイクロレンズアレイ４が配置される。
図１においては、絞り２は、撮像レンズ１の光軸（主光軸）とほぼ平行な絞りターレット軸を中心として回転可能に設けられる円盤状の遮光板に口径の異なる開口を同一円周上に複数個配置しており、回転操作により撮像レンズ１の光軸（主光軸）上に所要の口径の開口を挿入することによって絞り開口をターレット形式で選択する方式の、いわゆる絞りターレットとして模式的に示している。ここでは、絞り２は、模式的に絞りターレットとして示したが、もちろん、絞り２は、複数の絞り羽根の開閉操作により絞り開口を調整する一般的な絞り機構によって構成しても良い。
撮像素子３は、ＣＭＯＳ（相補型金属酸化物半導体）およびＣＣＤ（電荷結合素子）等からなるイメージセンサとしての固体撮像素子であり、その前面にマイクロレンズアレイ４が配置される。
マイクロレンズアレイ４は、具体的には、例えば、図３に示すように、撮像素子３の受光面の入射面側に配置され、撮像素子３の受光面を覆うカバーガラスとほぼ同様に形成された光を透過する平板状の板体に、この場合、撮像素子３の特定の直線状の画素列に対応して、例えば画面の垂直方向についてのほぼ中央部に水平方向に沿って複数の等寸法で且つ等形状のマイクロレンズを、例えば直線状に配列して形成する。この場合、各マイクロレンズは、配列方向と直交する方向を軸方向とするかまぼこ状の部分円柱レンズを水平方向に稠密に配列して極めて短寸の細長いレンティキュラーレンズのように形成される。マイクロレンズアレイ４の各マイクロレンズは、各部分円柱レンズの軸方向については１列〜数列の画素列に対応する短い寸法に形成され、配列方向については数個以上の画素に対応する寸法に形成されている。また、マイクロレンズアレイ４の各かまぼこ状のマイクロレンズは、部分円柱状の両端面、すなわちマイクロレンズ列の図示上下面に適宜遮光を施して、各マイクロレンズに対応する画素列にマイクロレンズ部分以外からの光が入射することがないようにする。
マイクロレンズアレイ４の各マイクロレンズに関連する部分の具体的な仕様の一例を、図４に示す模式図を参照して説明する。図４において、マイクロレンズアレイ４については、撮像レンズ１の光軸上に位置するマイクロレンズのみを模式的に楕円として示しており、撮像素子３についても、当該マイクロレンズに対応する画素群のみを模式的に長方形として示している。
撮像素子３の画素ピッチを２μｍとし、マイクロレンズアレイ４の１つのマイクロレンズに対応する画素を１０画素とし、撮像レンズ１のＦ値はＦ２．８とする。
１つのマイクロレンズに対応する撮像素子３の画素数が１０画素であるので、対応する画素列の長さは、
２μｍ×１０＝２０μｍ
となる。１つのマイクロレンズの焦点距離をｆとすれば、
ｆ/２０μ＝２．８
であるから、
ｆ＝５６μｍ
となる。
撮像素子３の画素ピッチを２μｍとし、マイクロレンズアレイ４の１つのマイクロレンズに対応する画素を１０画素とし、撮像レンズ１のＦ値はＦ２．８とする。
１つのマイクロレンズに対応する撮像素子３の画素数が１０画素であるので、対応する画素列の長さは、
２μｍ×１０＝２０μｍ
となる。１つのマイクロレンズの焦点距離をｆとすれば、
ｆ/２０μ＝２．８
であるから、
ｆ＝５６μｍ
となる。
したがって、マイクロレンズアレイ４の１つのマイクロレンズは、長手方向、つまりマイクロレンズの配列方向についてのレンズ径が２０μｍで焦点距離が５６μｍとなる。
なお、ＡＦ処理に際しては、撮像レンズ１のＦ値はＦ２．８であっても、撮像レンズ１の外周近傍の両端は像性能があまり良好でない場合があるので、ＡＦ処理に供される撮像素子３の画素群としては、内側のＦ４に相当する範囲を見込む領域に対応する画素を使用する。
次に、このような構成における本発明の第１の実施の形態に係る撮像装置の原理について詳細に説明する。
まず、図５を参照して、この実施の形態の撮像装置の基本的な構成について説明する。
図５には、メインレンズとして代表して示される撮像レンズ１と、マイクロレンズアレイ４のうちの１つのマイクロレンズＭＬαおよび他の他の１つのマイクロレンズＭＬβと、撮像素子３のうちのマイクロレンズＭＬαおよびマイクロレンズＭＬβに対応する一部の画素部分とを模式的に示している。この図５のように、レンズ系を模式的に示す場合には、その断面形状にかかわらず、複数のレンズからなる撮像レンズ１もマイクロレンズアレイ４を構成する個々の平凸レンズ状のマイクロレンズも、それぞれ楕円として示している。
なお、ＡＦ処理に際しては、撮像レンズ１のＦ値はＦ２．８であっても、撮像レンズ１の外周近傍の両端は像性能があまり良好でない場合があるので、ＡＦ処理に供される撮像素子３の画素群としては、内側のＦ４に相当する範囲を見込む領域に対応する画素を使用する。
次に、このような構成における本発明の第１の実施の形態に係る撮像装置の原理について詳細に説明する。
まず、図５を参照して、この実施の形態の撮像装置の基本的な構成について説明する。
図５には、メインレンズとして代表して示される撮像レンズ１と、マイクロレンズアレイ４のうちの１つのマイクロレンズＭＬαおよび他の他の１つのマイクロレンズＭＬβと、撮像素子３のうちのマイクロレンズＭＬαおよびマイクロレンズＭＬβに対応する一部の画素部分とを模式的に示している。この図５のように、レンズ系を模式的に示す場合には、その断面形状にかかわらず、複数のレンズからなる撮像レンズ１もマイクロレンズアレイ４を構成する個々の平凸レンズ状のマイクロレンズも、それぞれ楕円として示している。
図５において、１つのマイクロレンズＭＬαに対応する画素部分内に位置するｎ番目の画素および他の１つのマイクロレンズＭＬβに対応する画素部分内に位置するｍ番目の画素は、それぞれマイクロレンズＭＬαおよびＭＬβによって、撮像レンズ１の点ａからの光を受光するようになっている。
マイクロレンズＭＬαおよびＭＬβ以外のマイクロレンズについても、点ａからの光を受光する画素があるので、それらの画素データを適切に選択して配列すれば、撮像レンズ１の点ａを通る光による被写界の像を構成することができる。同様に、各マイクロレンズに対応して、撮像レンズ１の該当位置を通る光を受光する各画素の画素データを選択して配列することによって、撮像レンズの各位置を通る光による被写界の像を構成することができる。
このように、撮像レンズ１からの光をマイクロレンズアレイ４の各マイクロレンズに対応して受光する画素の画素データから撮像レンズ１の射出瞳位置に応じた被写界の像を作り出すことを、像の再構成と表現することにする。
マイクロレンズＭＬαおよびＭＬβ以外のマイクロレンズについても、点ａからの光を受光する画素があるので、それらの画素データを適切に選択して配列すれば、撮像レンズ１の点ａを通る光による被写界の像を構成することができる。同様に、各マイクロレンズに対応して、撮像レンズ１の該当位置を通る光を受光する各画素の画素データを選択して配列することによって、撮像レンズの各位置を通る光による被写界の像を構成することができる。
このように、撮像レンズ１からの光をマイクロレンズアレイ４の各マイクロレンズに対応して受光する画素の画素データから撮像レンズ１の射出瞳位置に応じた被写界の像を作り出すことを、像の再構成と表現することにする。
ここで、本発明に係るＡＦ方式の原理について説明する。本ＡＦ方式は、被写界の画像を撮像するための撮像素子３とマイクロレンズを配列してなるマイクロレンズアレイ４のみを用いるコンパクトな構成でありながら、ＴＴＬ（Through the Lens）方式で、ピントのずれ量を判定することができるＡＦ方式である。さらに補足すると、従来の撮像レンズと被写界像撮像用の撮像素子との構成に、さらに撮像素子の前面にマイクロレンズアレイを配置するだけで、単一の撮像素子からピント合わせ用の情報と被写界画像生成用の画素データを得ることができるものである。
図６に模式的に示すように、ＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される撮像素子３は、マトリクス状に配置された受光素子によって各画素を構成している。ここで、図示Ａラインを構成する画素列に沿って複数画素にまたがったマイクロレンズ（図６においても模式的に楕円形状に示している）が複数個配列されてなるマイクロレンズアレイ４で撮像素子３を覆うようにする。なお、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子の受光素子には、各画素毎に個々に集光用のマイクロレンズが設けられているものがあり、これら画素毎のマイクロレンズは、高解像度つまり高画素数化に伴い、１画素あたりの受光面積が小さくなったことによる光量不足を補うために設けられるものである。本発明に係るマイクロレンズアレイ４は、このような各画素毎のマイクロレンズとは別のものである。
図６に模式的に示すように、ＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される撮像素子３は、マトリクス状に配置された受光素子によって各画素を構成している。ここで、図示Ａラインを構成する画素列に沿って複数画素にまたがったマイクロレンズ（図６においても模式的に楕円形状に示している）が複数個配列されてなるマイクロレンズアレイ４で撮像素子３を覆うようにする。なお、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子の受光素子には、各画素毎に個々に集光用のマイクロレンズが設けられているものがあり、これら画素毎のマイクロレンズは、高解像度つまり高画素数化に伴い、１画素あたりの受光面積が小さくなったことによる光量不足を補うために設けられるものである。本発明に係るマイクロレンズアレイ４は、このような各画素毎のマイクロレンズとは別のものである。
図７および図８は、この実施の形態の撮像装置に係るＡＦ方式の原理を概念的に示している。
図７（ａ）および図８（ａ）に示すように、撮像素子３の前面（受光面）に近接して、複数のマイクロレンズＭ１，Ｍ２…Ｍｘを稠密に配列して形成したマイクロレンズアレイ４を配置している。このマイクロレンズアレイ４のマイクロレンズＭ１〜Ｍｘの各々は、それぞれ撮像素子３の複数の画素をカバーしている。なお、ここでは、理解を容易にするために撮像素子３の画素の寸法は限りなく小さいものとして説明する。
マイクロレンズアレイ４がない場合には、撮像素子３の各画素には、撮像レンズ１の（射出瞳）全面からの光が照射されるはずであるが、この場合、マイクロレンズアレイ４があるので、各マイクロレンズにより、図７（ａ）においては、撮像レンズ（メインレンズ）１とマイクロレンズアレイ４との間の距離ｆｍにおいて、撮像素子３の画素Ｎａ１，Ｎａ２，…Ｎａｘは、撮像レンズ１の点ａからの光線を受光する。図７（ｂ）には、点ａからの光を受光するマイクロレンズＭ１〜Ｍｘと画素Ｎａ１〜Ｎａｘとの対応関係を示している。つまり、撮影素子３から画素Ｎａ１〜Ｎａｘのみの画像データを抽出して、画像を再構成すれば、撮像レンズ１の点ａから被写界を覗き込んだ画像のマイクロレンズアレイ４の配列方向に沿う一次元情報が得られる。
図７（ａ）および図８（ａ）に示すように、撮像素子３の前面（受光面）に近接して、複数のマイクロレンズＭ１，Ｍ２…Ｍｘを稠密に配列して形成したマイクロレンズアレイ４を配置している。このマイクロレンズアレイ４のマイクロレンズＭ１〜Ｍｘの各々は、それぞれ撮像素子３の複数の画素をカバーしている。なお、ここでは、理解を容易にするために撮像素子３の画素の寸法は限りなく小さいものとして説明する。
マイクロレンズアレイ４がない場合には、撮像素子３の各画素には、撮像レンズ１の（射出瞳）全面からの光が照射されるはずであるが、この場合、マイクロレンズアレイ４があるので、各マイクロレンズにより、図７（ａ）においては、撮像レンズ（メインレンズ）１とマイクロレンズアレイ４との間の距離ｆｍにおいて、撮像素子３の画素Ｎａ１，Ｎａ２，…Ｎａｘは、撮像レンズ１の点ａからの光線を受光する。図７（ｂ）には、点ａからの光を受光するマイクロレンズＭ１〜Ｍｘと画素Ｎａ１〜Ｎａｘとの対応関係を示している。つまり、撮影素子３から画素Ｎａ１〜Ｎａｘのみの画像データを抽出して、画像を再構成すれば、撮像レンズ１の点ａから被写界を覗き込んだ画像のマイクロレンズアレイ４の配列方向に沿う一次元情報が得られる。
同様に、図８（ａ）において、撮像レンズ１とマイクロレンズアレイ４との間の距離ｆｍにおいて、撮像素子３の画素Ｎｂ１，Ｎｂ２，…Ｎｂｘは、撮像レンズ１の点ｂからの光線を受光する。図８（ｂ）には、点ｂからの光を受光するマイクロレンズＭ１〜Ｍｘと画素Ｎｂ１〜Ｎｂｘとの対応関係を示している。したがって、撮影素子３から画素Ｎｂ１〜Ｎｂｘのみの画像データを抽出して、画像を再構成すれば、撮像レンズ１の点ｂから被写界を覗き込んだ画像のマイクロレンズアレイ４の配列方向に沿う一次元情報が得られる。さらに、図７および図８に示してはいないが、撮像レンズ１の中心点ｃから被写界を覗き込んだ画像を作るための、画素Ｎｃ１，Ｎｃ２，…Ｎｃｘも決めておくことができる。
以上のように、距離ｆｍにおいて、予め定めた画素Ｎａ１，Ｎａ２，…Ｎａｘと、Ｎｂ１，Ｎｂ２，…Ｎｂｘと、Ｎｃ１，Ｎｃ２，…Ｎｃｘとでそれぞれ画像を再構成すると、それぞれ撮像レンズ１の点ａと、点ｂと、点ｃとから見た互いに視差のある被写界画像を得ることができ、このような視差のある像からは、原理的に、被写体の合焦状況（合焦、前ピンおよび後ピン等）に応じた合焦情報を求めることができる。
以上のように、距離ｆｍにおいて、予め定めた画素Ｎａ１，Ｎａ２，…Ｎａｘと、Ｎｂ１，Ｎｂ２，…Ｎｂｘと、Ｎｃ１，Ｎｃ２，…Ｎｃｘとでそれぞれ画像を再構成すると、それぞれ撮像レンズ１の点ａと、点ｂと、点ｃとから見た互いに視差のある被写界画像を得ることができ、このような視差のある像からは、原理的に、被写体の合焦状況（合焦、前ピンおよび後ピン等）に応じた合焦情報を求めることができる。
なお、上述においては、撮像素子３の画素の寸法は限りなく小さいものとしたが、実際には、画素は有限の大きさ（面積）を有しているので、撮像レンズ１の点ａ、点ｂおよび点ｃもある程度の面積を持つことになる。
ここでは、ＴＴＬ方式でない、例えば超音波を用いた測距方式や撮像光学系を通さない三角測距方式等の測距合焦システムにおいては、被写体距離に対応する情報が得られるので、これを測距情報と称するのに対して、上述したように撮像光学系を通して得られるＴＴＬ方式の測距合焦システムにおいては、被写体に対して合焦、前ピン、後ピンおよびそれらの程度等の合焦状況に対応する情報を合焦情報と称する。
上述した本発明の第１の実施の形態に係る合焦装置におけるＡＦ方式の原理について、一般的な被写体における合焦判定を示す図９、図１０および図１１を参照して、さらに詳細に説明する。
ここでは、ＴＴＬ方式でない、例えば超音波を用いた測距方式や撮像光学系を通さない三角測距方式等の測距合焦システムにおいては、被写体距離に対応する情報が得られるので、これを測距情報と称するのに対して、上述したように撮像光学系を通して得られるＴＴＬ方式の測距合焦システムにおいては、被写体に対して合焦、前ピン、後ピンおよびそれらの程度等の合焦状況に対応する情報を合焦情報と称する。
上述した本発明の第１の実施の形態に係る合焦装置におけるＡＦ方式の原理について、一般的な被写体における合焦判定を示す図９、図１０および図１１を参照して、さらに詳細に説明する。
図９は、ちょうどマイクロレンズアレイ４上で被写体にピントが合っている場合を示している。
被写体のＸ点からの光のうち、撮像レンズ（メインレンズ）１の点ａおよび点ｂを通る光をそれぞれａＸ光線およびｂＸ光線とする。同様に、Ｙ点ならびにＺ点からの光のうちの点ａおよび点ｂを通る光もそれぞれａＹ光線およびｂＹ光線ならびにａＺ光線およびｂＺ光線とする。また、Ｘ点、Ｙ点およびＺ点からの主光線をそれぞれＸ主光線、Ｙ主光線およびＺ主光線とし、これらＸ主光線、Ｙ主光線およびＺ主光線は、それぞれマイクロレンズアレイ４の異なるマイクロレンズに入射する。
ここで、被写体はマイクロレンズアレイ４上でピントが合っている状態であるので、Ｘ主光線が入射したマイクロレンズには、ａＸ光線およびｂＸ光線も入射し、このマイクロレンズ下の異なった画素で受光される。なお、点ａおよび点ｂからの光を受光するこれらの画素は、撮像レンズ１とマイクロレンズアレイ４との距離がｆｍである場合において、点ａおよび点ｂからの光を受光するものとして、予め装置のシステムに認知されているものである。同様に、Ｙ主光線ならびにＺ主光線が入射するマイクロレンズについても、点ａおよび点ｂからの光が入射して、それぞれ異なる画素で受光される。
被写体のＸ点からの光のうち、撮像レンズ（メインレンズ）１の点ａおよび点ｂを通る光をそれぞれａＸ光線およびｂＸ光線とする。同様に、Ｙ点ならびにＺ点からの光のうちの点ａおよび点ｂを通る光もそれぞれａＹ光線およびｂＹ光線ならびにａＺ光線およびｂＺ光線とする。また、Ｘ点、Ｙ点およびＺ点からの主光線をそれぞれＸ主光線、Ｙ主光線およびＺ主光線とし、これらＸ主光線、Ｙ主光線およびＺ主光線は、それぞれマイクロレンズアレイ４の異なるマイクロレンズに入射する。
ここで、被写体はマイクロレンズアレイ４上でピントが合っている状態であるので、Ｘ主光線が入射したマイクロレンズには、ａＸ光線およびｂＸ光線も入射し、このマイクロレンズ下の異なった画素で受光される。なお、点ａおよび点ｂからの光を受光するこれらの画素は、撮像レンズ１とマイクロレンズアレイ４との距離がｆｍである場合において、点ａおよび点ｂからの光を受光するものとして、予め装置のシステムに認知されているものである。同様に、Ｙ主光線ならびにＺ主光線が入射するマイクロレンズについても、点ａおよび点ｂからの光が入射して、それぞれ異なる画素で受光される。
システムが認知している撮像レンズ１とマイクロレンズアレイ４の距離ｆｍにおける各マイクロレンズ下の点ａからの光線の受光画素および点ｂからの光線の受光画素の明るさ、つまり輝度、を抽出してそれぞれ並べると、点ａから見た被写体のコントラスト像および点ｂから見た被写体のコントラスト像が得られる。これらを点ａ像および点ｂ像とする。点ａ像および点ｂ像において、黒く塗りつぶされている箇所が被写体像の画素であり、その図示横方向の位置、すなわち各ベースライン「０」からの偏倚、が各マイクロレンズ下の抽出された画素における輝度を示している。マイクロレンズアレイ４上で被写体のピントが合っている場合には、図示のように、点ａ像および点ｂ像の位置は同じになる。
以上のようにして、点ａ像および点ｂ像の位置で撮像レンズ１がマイクロレンズアレイ４上にピントが合っていることを知ることができる。
以上のようにして、点ａ像および点ｂ像の位置で撮像レンズ１がマイクロレンズアレイ４上にピントが合っていることを知ることができる。
図１０は、撮像レンズ１により被写体のピントが、マイクロレンズアレイ４よりも後方（すなわち撮像素子３側）にずれている場合を示している。
この場合、ａＸ光線とｂＸ光線、ａＹ光線とｂＹ光線およびａＺ光線とｂＺ光線は、それぞれ交差する前に異なる別々のマイクロレンズに入射する。その結果として、点ａ像と点ｂ像は、相互間に像ずれを発生する。また、図１１は、被写体のピントが、マイクロレンズアレイ４よりも前方（すなわち物体側）にずれている場合を示している。
この場合、ａＸ光線とｂＸ光線、ａＹ光線とｂＹ光線およびａＺ光線とｂＺ光線は、それぞれ交差した後に異なる別々のマイクロレンズに入射する。その結果として、点ａ像と点ｂ像は、相互間に像ずれを発生する。
なお、図１０の場合と、図１１の場合とで、像ずれの方向は互いに逆の方向であり、このことによって、撮像レンズ１によるピントが、マイクロレンズアレイ４の後方および前方のいずれにあるかをも知ることができる。したがって、この像ずれを、合焦状態およびピントずれ状況等を示す合焦情報として利用することができる。
この場合、ａＸ光線とｂＸ光線、ａＹ光線とｂＹ光線およびａＺ光線とｂＺ光線は、それぞれ交差する前に異なる別々のマイクロレンズに入射する。その結果として、点ａ像と点ｂ像は、相互間に像ずれを発生する。また、図１１は、被写体のピントが、マイクロレンズアレイ４よりも前方（すなわち物体側）にずれている場合を示している。
この場合、ａＸ光線とｂＸ光線、ａＹ光線とｂＹ光線およびａＺ光線とｂＺ光線は、それぞれ交差した後に異なる別々のマイクロレンズに入射する。その結果として、点ａ像と点ｂ像は、相互間に像ずれを発生する。
なお、図１０の場合と、図１１の場合とで、像ずれの方向は互いに逆の方向であり、このことによって、撮像レンズ１によるピントが、マイクロレンズアレイ４の後方および前方のいずれにあるかをも知ることができる。したがって、この像ずれを、合焦状態およびピントずれ状況等を示す合焦情報として利用することができる。
また、撮像レンズ１の中央から射出されるＸ主光線、Ｙ主光線およびＺ主光線などのような主光線を受けるマイクロレンズの像を点ｃ像とすると、図９、図１０および図１１における点ｃ像は、撮像レンズ１により結像される被写体像のピント面が、マイクロレンズアレイ４上に位置しているか、マイクロレンズアレイ４の後方に位置しているか、マイクロレンズアレイ４の前方に位置しているかにかかわらず、同じ位置に結像される。このため、この点ｃ像を基準として用いると、ピントずれの方向および量の判別が容易になる。
次に図１２および図１３を参照して、具体的な合焦判定の例について説明する。
図１２（ａ）に示すように、撮像レンズ１の点ａ、点ｂおよび点ｃを通る光による像は、合焦被写界点にある被写体が、マイクロレンズアレイ４上に結像され、合焦被写界点よりも近いニア被写界点（Ｎｅａｒ被写界点）にある被写体は、撮像レンズ１からマイクロレンズアレイ４よりも遠い箇所に結像され、そして合焦被写界点よりも遠いファー被写界点（Ｆａｒ被写界点）にある被写体は、撮像レンズ１とマイクロレンズアレイ４との中間位置に結像される。
次に図１２および図１３を参照して、具体的な合焦判定の例について説明する。
図１２（ａ）に示すように、撮像レンズ１の点ａ、点ｂおよび点ｃを通る光による像は、合焦被写界点にある被写体が、マイクロレンズアレイ４上に結像され、合焦被写界点よりも近いニア被写界点（Ｎｅａｒ被写界点）にある被写体は、撮像レンズ１からマイクロレンズアレイ４よりも遠い箇所に結像され、そして合焦被写界点よりも遠いファー被写界点（Ｆａｒ被写界点）にある被写体は、撮像レンズ１とマイクロレンズアレイ４との中間位置に結像される。
すなわち、上述のようにして、点ａ、点ｂおよび点ｃを通る光による像、すなわち、点ａ像、点ｂ像および点ｃ像を再構成により形成すれば、それぞれ、ニア被写界点については、図１２（ｂ）、合焦被写界点については、図１２（ｃ）、そしてファー被写界点については、図１２（ｄ）に示すような点ａ像、点ｂ像および点ｃ像が形成される。
ここで、点ｃ像の中央部近傍で相関評価ウィンドウを定義する。点ｃ像の中央領域であるので、その像は、撮影レンズ１が垂直に真っ直ぐに貫かれる主光軸上の被写体像である。この相関評価ウィンドウ内のコントラスト像と強い相関を示す、つまりほぼ一致する、像位置を、点ａ像および点ｂ像内で検索する。
すなわち、求め方は、点ｃ像で設定した相関を評価するための相関評価ウィンドウ内の像と、点ａ像または点ｂ像とを同じウィンドウ幅で像位置をシフトしながら比較し、相関つまり一致度の高い像位置を求める。一致度は、比較するウィンドウ同士の画素データの差分の積算を計算し、その値が小さければ、一致度が高いといえる。
ここで、点ｃ像の中央部近傍で相関評価ウィンドウを定義する。点ｃ像の中央領域であるので、その像は、撮影レンズ１が垂直に真っ直ぐに貫かれる主光軸上の被写体像である。この相関評価ウィンドウ内のコントラスト像と強い相関を示す、つまりほぼ一致する、像位置を、点ａ像および点ｂ像内で検索する。
すなわち、求め方は、点ｃ像で設定した相関を評価するための相関評価ウィンドウ内の像と、点ａ像または点ｂ像とを同じウィンドウ幅で像位置をシフトしながら比較し、相関つまり一致度の高い像位置を求める。一致度は、比較するウィンドウ同士の画素データの差分の積算を計算し、その値が小さければ、一致度が高いといえる。
もしも、点ｃ像、点ａ像および点ｂ像で一致する像が、図１２（ｂ）のように、点ｃ像の像位置を中央に、左側の位置に点ａ像、右側の位置に点ｂ像があったとすると、対象被写体よりも近い被写界点（ニア被写界点）にピントが合っている、いわゆる前ピン状態と判定することができる。そして、点ｃ像、点ａ像および点ｂ像で一致する像が、図１２（ｃ）のように、点ｃ像と点ａ像と点ｂ像の像位置が全て一致していれば、合焦状態と判定することができる。また、もしも、点ｃ像、点ａ像および点ｂ像で一致する像が、図１２（ｄ）のように、点ｃ像の位置を中央に、右側の位置に点ａ像、左側の位置に点ｂ像があったとすると、対象被写体よりも遠い被写界点（ファー被写界点）にピントが合っている、いわゆる後ピン状態と判定することができる。
なお、図１２（ｂ）〜図１２（ｄ）に示した、点ａ像および点ｂ像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求めるようにしても、ピントずれを検出することができる。しかしながら、図示のように点ｃ像を加えることによって、３つの像の相関を評価し、より正確な像一致を検出することができる。
なお、図１２（ｂ）〜図１２（ｄ）に示した、点ａ像および点ｂ像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求めるようにしても、ピントずれを検出することができる。しかしながら、図示のように点ｃ像を加えることによって、３つの像の相関を評価し、より正確な像一致を検出することができる。
図１３は、点ｃ像の相関評価ウィンドウを、中央近傍以外にした場合の一例を示している。図１３（ａ）は、撮像レンズ１、撮像素子３の画素列およびマイクロレンズアレイ４、ならびに被写界における合焦被写界点にある被写体、ニア被写界点にある被写体およびファー被写界点にある被写体の光学的幾何学的な関係を示している。図１３（ｂ）はニア被写界点について、図１３（ｃ）は合焦被写界点について、そして図１３（ｄ）はファー被写界点について、それぞれ形成される点ａ像、点ｂ像および点ｃ像を示している。
この場合も、点ｃ像で設定した相関評価ウィンドウ内の像と、点ａ像または点ｂ像とを同じウィンドウ幅で像位置をシフトしながら比較し、一致度の高い像位置を求める。もしも、図１３（ｂ）のように、この場合やや右寄りに位置する点ｃ像の像位置に対して、左側の位置に点ａ像、右側の位置に点ｂ像があったとすると、対象被写体よりも近い被写界点（ニア被写界点）にピントが合っている前ピン状態と判定することができる。そして、図１３（ｃ）のように、やや右寄りの位置において、点ｃ像と点ａ像と点ｂ像の像位置が全て一致していれば、合焦状態と判定することができる。また、もしも、図１３（ｄ）のように、やや右寄りに位置する点ｃ像の位置を中央に、右側の位置に点ａ像、左側の位置に点ｂ像があれば、対象被写体よりも遠い被写界点（ファー被写界点）にピントが合っている後ピン状態と判定することができる。
この場合も、点ｃ像で設定した相関評価ウィンドウ内の像と、点ａ像または点ｂ像とを同じウィンドウ幅で像位置をシフトしながら比較し、一致度の高い像位置を求める。もしも、図１３（ｂ）のように、この場合やや右寄りに位置する点ｃ像の像位置に対して、左側の位置に点ａ像、右側の位置に点ｂ像があったとすると、対象被写体よりも近い被写界点（ニア被写界点）にピントが合っている前ピン状態と判定することができる。そして、図１３（ｃ）のように、やや右寄りの位置において、点ｃ像と点ａ像と点ｂ像の像位置が全て一致していれば、合焦状態と判定することができる。また、もしも、図１３（ｄ）のように、やや右寄りに位置する点ｃ像の位置を中央に、右側の位置に点ａ像、左側の位置に点ｂ像があれば、対象被写体よりも遠い被写界点（ファー被写界点）にピントが合っている後ピン状態と判定することができる。
なお、図１３（ｂ）〜図１３（ｄ）に示した、点ａ像および点ｂ像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求めるようにしても、ピントずれを検出することができる。しかしながら、図示のように点ｃ像を加えることによって、３つの像の相関を評価し、より正確な像一致を検出することができる。
このように、撮像レンズ１の主光軸以外の被写体に対する合焦状態を検出することができるばかりでなく、後ピンおよび前ピンの各ピントずれ状態をも検出することができ、後ピンと前ピンにおける点ａ像および点ｂ像のずれ方向が逆であることから、ピントのずれ方向も判別することができる。このようなピントずれ状態が、検出された場合には、ピントずれの方向とは逆に撮像レンズ（メインレンズ）１を動かすなどして、合焦状態が得られるまで制御すればピントのあった状態とすることができる。また、撮像レンズ（メインレンズ）１とマイクロレンズアレイ４との間の距離ｆｍおよび点ａ像と点ｂ像の像位置の差から計算して、概略的な被写体の距離を求めることも可能である。
このように、撮像レンズ１の主光軸以外の被写体に対する合焦状態を検出することができるばかりでなく、後ピンおよび前ピンの各ピントずれ状態をも検出することができ、後ピンと前ピンにおける点ａ像および点ｂ像のずれ方向が逆であることから、ピントのずれ方向も判別することができる。このようなピントずれ状態が、検出された場合には、ピントずれの方向とは逆に撮像レンズ（メインレンズ）１を動かすなどして、合焦状態が得られるまで制御すればピントのあった状態とすることができる。また、撮像レンズ（メインレンズ）１とマイクロレンズアレイ４との間の距離ｆｍおよび点ａ像と点ｂ像の像位置の差から計算して、概略的な被写体の距離を求めることも可能である。
なお、上述から明らかなように、点ｃ像についての相関評価ウィンドウの設定位置によって、撮像レンズ１の異なる軸外光線上に存在する被写体のピント情報を得られるので、画面の中央だけでなく、画面端の被写体の合焦制御を行うことも可能である。すなわち、図１３においては、被写界の左側に偏った部位のピントを検出するために、点ｃ像の相関評価ウィンドウの位置は、中心よりも右に寄った位置に設定される。また、図１２では、被写界の中央近傍のピントを検出するために、点ｃ像の相関評価ウィンドウの位置は、中心近傍の位置に設定される。
上述において、撮像素子３は、モノクローム、すなわち単色の撮像素子等のように、単一の輝度情報を画素データとする場合について説明している。このような場合に、マイクロレンズを通した画素データを抽出して点ａ像や点ｂ像を再構成するには、上述したように単に該当位置の画素を抽出するだけでよい。
しかしながら、画素フィルタを介するなどして複数の色情報が分布配置されるカラーの撮像素子の場合には、色による影響を受けないようにするために、同一色の画素データ、または同一の組み合わせの複数色の画素データを用いなければならない。すなわち、このようなカラー撮像素子において、マイクロレンズを通した画素データを抽出して点ａ像や点ｂ像を再構成する場合には、同一色の画素データを抽出する必要がある。
上述において、撮像素子３は、モノクローム、すなわち単色の撮像素子等のように、単一の輝度情報を画素データとする場合について説明している。このような場合に、マイクロレンズを通した画素データを抽出して点ａ像や点ｂ像を再構成するには、上述したように単に該当位置の画素を抽出するだけでよい。
しかしながら、画素フィルタを介するなどして複数の色情報が分布配置されるカラーの撮像素子の場合には、色による影響を受けないようにするために、同一色の画素データ、または同一の組み合わせの複数色の画素データを用いなければならない。すなわち、このようなカラー撮像素子において、マイクロレンズを通した画素データを抽出して点ａ像や点ｂ像を再構成する場合には、同一色の画素データを抽出する必要がある。
このため、複数の色情報が分布配置される通常のカラー撮像素子をそのまま使う場合には、特定の色情報の画素データを抽出することになり、全画素数をＡＦ用に利用することができず、高い分解能が得られない。このような場合には、ＡＦ用のマイクロレンズアレイ４の各マイクロレンズに対応する画素については、色フィルタを除去するなどして、モノクローム化すれば、全画素を抽出対象とすることができるため、高い分解能が得られる。
あるいは、図１４に示すように、Ｒ（赤）、Ｂ（青）およびＧ（緑）の画素が、いわゆるベイヤ配列で分布されたカラー撮像素子において、ＡＦ用のマイクロレンズアレイ４の各マイクロレンズで、カラー撮像素子の２段（２列）分の画素列を覆い、例えば上下２段のＧの画素データをＡＦのための抽出対象とすることによって、像再構成の分解能を確保するようにしてもよい。
さらに、Ｒ、ＢおよびＧの画素が、いわゆるベイヤ配列で分布されたカラー撮像素子において、ＡＦ用のマイクロレンズアレイ４の各マイクロレンズで、カラー撮像素子の１段（１列）分の画素列を覆う場合には、図１５に示すように、例えばＲ＋Ｇの画素データを単位として、ＡＦのための抽出対象として、像再構成を行うようにしてもよい。
あるいは、図１４に示すように、Ｒ（赤）、Ｂ（青）およびＧ（緑）の画素が、いわゆるベイヤ配列で分布されたカラー撮像素子において、ＡＦ用のマイクロレンズアレイ４の各マイクロレンズで、カラー撮像素子の２段（２列）分の画素列を覆い、例えば上下２段のＧの画素データをＡＦのための抽出対象とすることによって、像再構成の分解能を確保するようにしてもよい。
さらに、Ｒ、ＢおよびＧの画素が、いわゆるベイヤ配列で分布されたカラー撮像素子において、ＡＦ用のマイクロレンズアレイ４の各マイクロレンズで、カラー撮像素子の１段（１列）分の画素列を覆う場合には、図１５に示すように、例えばＲ＋Ｇの画素データを単位として、ＡＦのための抽出対象として、像再構成を行うようにしてもよい。
このようにして、自動合焦を行った場合、マイクロレンズアレイ４の各マイクロレンズに対応する部分以外の撮像素子３の画素部分は、撮像レンズ１によって結像された被写界像を、撮像された画像として表示および記録の少なくとも一方に供するようにしなければならない。ところが、図６および図１６に示すＡラインのように、ＡＦ用の光学系であるマイクロレンズアレイ４のマイクロレンズ群を通った画素のデータは、それら以外の被写界画像を構成する通常の画素のデータと異なるため、それを含めて被写界画像を生成することができない。
近年においては撮像素子３が高画素数化しているので、ディジタルカメラ等の撮像装置におけるモニタリング等のように画像性能がさほど要求されない場合には、全ての画素データを使用する必要はなく、例えばＡラインの画素データ等のマイクロレンズ群を通った画素データを使用せずに、画像データ生成してもよい。また、撮像素子３が高画素数化していることを考慮して、ＡＦ用の光学系であるマイクロレンズアレイ４のマイクロレンズ群を通った部分に相当する画素の画素値は、その近傍の、例えば図１６のＢラインおよびＣライン等の周辺画素値から補間処理等によって求めるようにしてもよい。
近年においては撮像素子３が高画素数化しているので、ディジタルカメラ等の撮像装置におけるモニタリング等のように画像性能がさほど要求されない場合には、全ての画素データを使用する必要はなく、例えばＡラインの画素データ等のマイクロレンズ群を通った画素データを使用せずに、画像データ生成してもよい。また、撮像素子３が高画素数化していることを考慮して、ＡＦ用の光学系であるマイクロレンズアレイ４のマイクロレンズ群を通った部分に相当する画素の画素値は、その近傍の、例えば図１６のＢラインおよびＣライン等の周辺画素値から補間処理等によって求めるようにしてもよい。
図１６にベイヤ配列の撮像素子３に、ＡＦ用のマイクロレンズアレイ４のマイクロレンズを配置した例を示す。このような場合において、Ａラインに該当し、ベイヤデータが求められない部分については、例えば図１７に示すように、ｇ１は周辺のＧ１，Ｇ２，Ｇ３およびＧ４から求め、ｒ２は、Ｂ１とＢ２およびＧ２とＧ４の変化の度合いに基づいて、Ｒ１とＲ２から求めるようにしてもよい。
すなわち、本発明においては、撮像装置としての撮像画像を生成するために、解像度上かならずしも必要とされないＡラインを使用しないで画像を生成することも、近傍のＢラインおよびＣラインに基づく補間演算において補間係数をゼロとした場合と同等であり、本発明に係る撮像装置の実施の形態である。
また、先に触れたように、Ａラインは、Ｒ、ＧおよびＢ等の色フィルタを設ける必要もなく、色フィルタを設けなければ光電変換効率がよくなるので、このＡラインの部分だけ画素のサイズを小さくすることもできる。このような場合、Ａラインを、画像生成に際して、無視することも可能であり、このような実施の形態も本発明の範囲内である。
すなわち、本発明においては、撮像装置としての撮像画像を生成するために、解像度上かならずしも必要とされないＡラインを使用しないで画像を生成することも、近傍のＢラインおよびＣラインに基づく補間演算において補間係数をゼロとした場合と同等であり、本発明に係る撮像装置の実施の形態である。
また、先に触れたように、Ａラインは、Ｒ、ＧおよびＢ等の色フィルタを設ける必要もなく、色フィルタを設けなければ光電変換効率がよくなるので、このＡラインの部分だけ画素のサイズを小さくすることもできる。このような場合、Ａラインを、画像生成に際して、無視することも可能であり、このような実施の形態も本発明の範囲内である。
また、ＡＦ用の光学系であるマイクロレンズアレイ４の位置をずらして、画像生成用の画素データを得ることもできる。この場合、撮像素子３を移動させずにマイクロレンズアレイ４のみを移動させてもよいが、マイクロレンズアレイ４と撮像素子３の画素列との位置合わせが容易ではない。そのような場合には、撮像素子３とマイクロレンズアレイ４を適正に位置合わせして相互に固定したまま一体として移動させるようにしてもよい。
ここでは、撮像素子３とマイクロレンズアレイ４を位置合わせして固定したまま一体として位置をずらせる場合について具体的に説明する。すなわち、図１６に示したように、ＡＦ用のマイクロレンズアレイ４のマイクロレンズ群がＡライン上に配置された撮像素子３を、例えば図１８に示すように２画素分下方に移動させる。このようにすると、元のＡラインの位置にＡラインの２ライン上方のラインが対応し、このラインによって元のＡライン上のＧおよびＲの画素データを得ることができる。このとき、Ａラインの１ライン上方のＢラインが、元のＡラインの１ライン下方のＣラインに対応し、Ａラインが、元のＡラインの２ライン下方のＤラインに対応する。
ここでは、撮像素子３とマイクロレンズアレイ４を位置合わせして固定したまま一体として位置をずらせる場合について具体的に説明する。すなわち、図１６に示したように、ＡＦ用のマイクロレンズアレイ４のマイクロレンズ群がＡライン上に配置された撮像素子３を、例えば図１８に示すように２画素分下方に移動させる。このようにすると、元のＡラインの位置にＡラインの２ライン上方のラインが対応し、このラインによって元のＡライン上のＧおよびＲの画素データを得ることができる。このとき、Ａラインの１ライン上方のＢラインが、元のＡラインの１ライン下方のＣラインに対応し、Ａラインが、元のＡラインの２ライン下方のＤラインに対応する。
このように、撮像素子３を移動させる方式としては、例えばコイル付き基板に保持した撮像素子と、その撮像素子の基板を縦横に移動可能とした磁石付きステージとからなる構成を用いることができる。このとき、撮像素子の基板に、位置検出用としてホール素子を設けておく。撮像素子の基板上のコイルに電流を流すことによって、ステージ側の磁石との間で電磁力を作用させ、ステージ上で撮像素子を移動させることができる。その移動量はホール素子で検出することができるので、その移動画素数を制御することが可能となる。また、やや雑に撮像素子を移動した場合でも、生成される２つの画像の間で画素毎の相関が強くなるようにして、これら２つの画素を重ね合わせれば、ＡＦ用の光学系であるマイクロレンズアレイ４の部分に対応する位置の画素データを、両画像間で補間し合うようにすることができる。
また、ＡＦ用の光学系であるマイクロレンズアレイ４を撮像素子３に対して相対的に移動可能な構成とし、ＡＦ動作中は、撮像素子３上のＡライン上にＡＦ用のマイクロレンズアレイ４を配置し、ＡＦ用のデータを取得した後に、そのＡＦ用のマイクロレンズアレイ４をＡラインの位置からＢラインの位置に移動させることによって、ＡラインのＧおよびＲの画素データを得て、画像生成に使用するようにしてもよい。
また、ＡＦ用の光学系であるマイクロレンズアレイ４を撮像素子３に対して相対的に移動可能な構成とし、ＡＦ動作中は、撮像素子３上のＡライン上にＡＦ用のマイクロレンズアレイ４を配置し、ＡＦ用のデータを取得した後に、そのＡＦ用のマイクロレンズアレイ４をＡラインの位置からＢラインの位置に移動させることによって、ＡラインのＧおよびＲの画素データを得て、画像生成に使用するようにしてもよい。
なお、マイクロレンズアレイ４の移動についても、上述とほぼ同様に、撮像素子３と一体化された磁石付きステージとそのステージ上で移動可能なコイル付きのマイクロレンズアレイ４とで構成したり、撮像素子３と一体化されたコイル付きステージとそのステージ上で移動可能な磁石付きのマイクロレンズアレイ４とで構成したりすることによって、上述と同様に電磁力により移動制御することが可能になる。
次に、上述したような合焦の原理をディジタルカメラ等の撮像装置に適用した本発明の第２の実施の形態について説明する。
図１９は、本発明の第２の実施の形態に係る撮像装置としてのディジタルカメラのシステム構成を示している。
図１９に示すディジタルカメラは、撮像レンズ１０１、絞り−シャッタユニット１０２、マイクロレンズアレイ付き撮像素子１０３、ＣＤＳ（相関二重サンプリング）−ＡＤ（Ａ／Ｄ（アナログ−ディジタル）変換）部１０４、ＤＳＰ（ディジタル信号処理）部１０５、メカニカルドライバ部１０６、撮像素子駆動回路１０７、ＣＰＵ（中央処理部）１０８、メモリ部１０９、通信ドライバ１１０、メモリカード１１１、表示部１１２、操作部１１３、ＡＦ（自動合焦制御）処理部１１４、ストロボ発光部１１５、ストロボ電源部１１６およびストロボ受光部１１７を具備している。
次に、上述したような合焦の原理をディジタルカメラ等の撮像装置に適用した本発明の第２の実施の形態について説明する。
図１９は、本発明の第２の実施の形態に係る撮像装置としてのディジタルカメラのシステム構成を示している。
図１９に示すディジタルカメラは、撮像レンズ１０１、絞り−シャッタユニット１０２、マイクロレンズアレイ付き撮像素子１０３、ＣＤＳ（相関二重サンプリング）−ＡＤ（Ａ／Ｄ（アナログ−ディジタル）変換）部１０４、ＤＳＰ（ディジタル信号処理）部１０５、メカニカルドライバ部１０６、撮像素子駆動回路１０７、ＣＰＵ（中央処理部）１０８、メモリ部１０９、通信ドライバ１１０、メモリカード１１１、表示部１１２、操作部１１３、ＡＦ（自動合焦制御）処理部１１４、ストロボ発光部１１５、ストロボ電源部１１６およびストロボ受光部１１７を具備している。
図１９の構成において、撮像光学系としての撮像レンズ１０１は、例えば図２に示したズームレンズを用いた撮像レンズ１のような撮像用のレンズ系である。絞り−シャッタユニット１０２は、図２に示される絞り２に相当する機械的な絞りおよびシャッタを備えている。
マイクロレンズアレイ付き撮像素子１０３は、ＣＭＯＳ撮像素子またはＣＣＤ撮像素子等のような固体撮像素子を用いて構成した撮像素子であり、その受光面側に、先に述べた通り、例えば図３に示すマイクロレンズアレイ４のような本発明に係るＡＦ用のマイクロレンズアレイを備えている。
ＣＤＳ−ＡＤ部１０４は、撮像素子１０３から得られる画像信号を相関二重サンプリングし、さらにＡ／Ｄ変換してディジタルデータに変換する。ＤＳＰ部１０５は、Ａ／Ｄ変換されだディジタル信号を処理するディジタル信号処理装置であり、例えばＲＧＢから、輝度Ｙ、色差Ｕおよび色差ＶのＹＵＶデータに変換したり、そのＹＵＶデータを、例えばＪＰＥＧ（Joint Photographic Experts Group）方式により圧縮したりするなどのディジタル信号処理を行う。
マイクロレンズアレイ付き撮像素子１０３は、ＣＭＯＳ撮像素子またはＣＣＤ撮像素子等のような固体撮像素子を用いて構成した撮像素子であり、その受光面側に、先に述べた通り、例えば図３に示すマイクロレンズアレイ４のような本発明に係るＡＦ用のマイクロレンズアレイを備えている。
ＣＤＳ−ＡＤ部１０４は、撮像素子１０３から得られる画像信号を相関二重サンプリングし、さらにＡ／Ｄ変換してディジタルデータに変換する。ＤＳＰ部１０５は、Ａ／Ｄ変換されだディジタル信号を処理するディジタル信号処理装置であり、例えばＲＧＢから、輝度Ｙ、色差Ｕおよび色差ＶのＹＵＶデータに変換したり、そのＹＵＶデータを、例えばＪＰＥＧ（Joint Photographic Experts Group）方式により圧縮したりするなどのディジタル信号処理を行う。
メカニカルドライバ部１０６は、機械的作動部を駆動するドライバであって、フォーカシングやズーミングに際して撮像レンズ１０１を駆動するレンズ駆動部および絞り−シャッタユニット１０２のシャッタ開閉動作を行うシャッタ駆動部等を含んでいる。なお、レンズ駆動部には、レンズを正確に駆動制御するためにレンズ位置を検出するレンズ位置検出部も含んでいる。撮像素子駆動回路１０７は、撮像素子１０３を作動させ、撮像レンズ１０１により撮像素子１０３の受光面に結像された被写界像を画像信号として撮像素子１０３から取り出す。ＣＰＵ（中央処理部）１０８は、上述したＤＳＰ部１０５、メカニカルドライバ部１０６および撮像素子駆動回路１０７、ならびにメモリ部１０９、通信ドライバ１１０、メモリカード１１１、操作部１１３、ストロボ発光部１１５、ストロボ電源部１１６およびストロボ受光部１１７等と信号の授受を行って、このディジタルカメラシステム全体を制御する。
メモリ部１０９は、例えば撮像した画像データおよびファイルから読み出した画像データを一時保持すると共に、ＤＳＰ部１０５およびＣＰＵ１０８の作動に関連してワークメモリとして使用されるメモリである。通信ドライバ１１０は、本ディジタルカメラの外部との通信を行わせるための通信駆動部である。
メモリ部１０９は、例えば撮像した画像データおよびファイルから読み出した画像データを一時保持すると共に、ＤＳＰ部１０５およびＣＰＵ１０８の作動に関連してワークメモリとして使用されるメモリである。通信ドライバ１１０は、本ディジタルカメラの外部との通信を行わせるための通信駆動部である。
メモリカード１１１は、このディジタルカメラに対して着脱可能に設けられ、撮像素子などで得られた画像データ等を記録するためのメモリカードである。表示部１１２は、ＬＣＤ（液晶ディスプレイ）等の表示器と、ＤＳＰ部１０５からの映像出力信号を、ＬＣＤ等を用いた表示器で表示可能な信号に変換する表示コントローラとを含んでおり、ＤＳＰ部１０５からの映像出力信号を表示器で表示可能な信号に変換し、そしてその画像を表示器にて表示する。操作部１１３は、ユーザが操作可能な各種スイッチ等を含む操作部１１３である。ＡＦ処理部１１４は、必要に応じて設けられ、本発明に係るＡＦ操作と併用されて粗い非ＴＴＬ方式にてＡＦ操作を行う例えば、三角測距方式によるＡＦ操作を行うＡＦ処理部である。
ストロボ発光部１１５は、ＣＰＵ１０８から、ストロボ光の発光開始／発光停止を制御することが可能なストロボ発光部である。ストロボ電源部１１６は、例えばストロボ発光用のメインコンデンサ等を含むストロボ発光用の電源部であり、その充電電圧をＣＰＵ１０８から検出することが可能である。ストロボ受光部１１７は、受光光学系および光センサを含むストロボ受光部であり、ＣＰＵ１０８からの受光開始を受けて、ストロボ発光部１１５の発光を開始させ、それ以後の受光積分量が、ＣＰＵ８により予め設定された設定値に達したらストロボ発光部１１５へ発光停止信号を与え、発光を停止させる。
ストロボ発光部１１５は、ＣＰＵ１０８から、ストロボ光の発光開始／発光停止を制御することが可能なストロボ発光部である。ストロボ電源部１１６は、例えばストロボ発光用のメインコンデンサ等を含むストロボ発光用の電源部であり、その充電電圧をＣＰＵ１０８から検出することが可能である。ストロボ受光部１１７は、受光光学系および光センサを含むストロボ受光部であり、ＣＰＵ１０８からの受光開始を受けて、ストロボ発光部１１５の発光を開始させ、それ以後の受光積分量が、ＣＰＵ８により予め設定された設定値に達したらストロボ発光部１１５へ発光停止信号を与え、発光を停止させる。
次に、上述したような構成のディジタルカメラにおける各部の動作について、図２０に示すフローチャートおよび図２１に示すタイミングチャートを参照して説明する。
図２０は、ディジタルカメラにおける撮像記録時の制御を行うメイン処理を示している。なお、明確には図示していないが、操作部の状態の読み込みなどは、このメイン処理の起動中にメイン処理と並行して行われる並行処理によって処理される。この並行処理は、メイン処理の状態にかかわらず、例えば定期的なタイマ割り込みによって起動され処理される。ここでは、静止画を記録する場合を例にとって詳細に説明する。
撮像記録モードにおいては、カメラの電源がオンとされると、図２０には示していないが、カメラ内部のハードウェアの初期化や、メモリカード１１１内のファイル情報を、メモリ１０９内に作成するなどの初期処理を行う。その後に、図２０の撮像記録のメイン処理が開始される。
図２０は、ディジタルカメラにおける撮像記録時の制御を行うメイン処理を示している。なお、明確には図示していないが、操作部の状態の読み込みなどは、このメイン処理の起動中にメイン処理と並行して行われる並行処理によって処理される。この並行処理は、メイン処理の状態にかかわらず、例えば定期的なタイマ割り込みによって起動され処理される。ここでは、静止画を記録する場合を例にとって詳細に説明する。
撮像記録モードにおいては、カメラの電源がオンとされると、図２０には示していないが、カメラ内部のハードウェアの初期化や、メモリカード１１１内のファイル情報を、メモリ１０９内に作成するなどの初期処理を行う。その後に、図２０の撮像記録のメイン処理が開始される。
メイン処理においては、まずモニタリング状態をチェックし（ステップＳ１１）、モニタリングが停止状態であれば、モニタリング開始処理を行う（ステップＳ１２）。また、ストロボ発光を必要とする撮像モードが選択されているか否かおよびストロボ電源部１１６のメインコンデンサが充分に充電されているか否かに応じて、ストロボ電源部１１６のメインコンデンサの充電が必要であるか否かをチェックし（ステップＳ１３）、ストロボ発光を必要とする撮像モードが選択されていて、ストロボ電源部１１６のメインコンデンサが充分に充電されておらず、ストロボ電源部１１６の充電が必要であれば充電処理を開始する（ステップＳ１４）。ステップＳ１３において、ストロボ発光を必要とする撮像モードが選択されていない場合、またはストロボ発光を必要とする撮像モードが選択されていて、ストロボ電源部１１６のメインコンデンサが充分に充電されている場合、には、ストロボ電源部１１６の充電が必要でないので、何もしない（次のステップＳ１５へ進む）。
ステップＳ１２のモニタリング開始処置においては、撮像素子駆動回路１０７による撮像素子１０３の駆動を開始し、また並行処理のモニタリング処理を起動する。なお、初めてメイン処理に入った場合にも、上述したステップＳ１２のモニタリング開始処理が実行されることになる。
上述した並行処理におけるモニタリング処理は、カメラのスルー画像を表示している際のＡＥ（自動露出）およびＡＷＢ（自動ホワイトバランス）の追尾処理を実行させるものであり、このようにすることにより、カメラの表示装置に表示している画像を、いつも 適正な明るさ、自然な色合いに保つことができる。
具体的には、撮像素子１０３からＣＤＳ−ＡＤ部１０４を介して得られる画像データからＤＳＰ部１０５においてＡＥおよびＡＷＢそれぞれに対する評価値をＣＰＵ１０８で取得し、その値が所定値となるように、撮像素子駆動回路１０７に電子シャッタ秒時をセットする。撮像素子１０３の電子シャッタには、設定可能な最長秒時および最短時間の限界があり、被写体の輝度に応じて、限界以上の露光アンダーまたは露光オーバーがある場合には、ＣＰＵ１０８は絞り−シャッタユニット１０２の絞り開口径、つまりＦ値、を変更したり、撮像信号の撮像素子１０３部分における増幅率を変更したりする。また、ＤＳＰ部１０５における画像処理色パラメータを調節したりするためのフィードバック制御も行う。
上述した並行処理におけるモニタリング処理は、カメラのスルー画像を表示している際のＡＥ（自動露出）およびＡＷＢ（自動ホワイトバランス）の追尾処理を実行させるものであり、このようにすることにより、カメラの表示装置に表示している画像を、いつも 適正な明るさ、自然な色合いに保つことができる。
具体的には、撮像素子１０３からＣＤＳ−ＡＤ部１０４を介して得られる画像データからＤＳＰ部１０５においてＡＥおよびＡＷＢそれぞれに対する評価値をＣＰＵ１０８で取得し、その値が所定値となるように、撮像素子駆動回路１０７に電子シャッタ秒時をセットする。撮像素子１０３の電子シャッタには、設定可能な最長秒時および最短時間の限界があり、被写体の輝度に応じて、限界以上の露光アンダーまたは露光オーバーがある場合には、ＣＰＵ１０８は絞り−シャッタユニット１０２の絞り開口径、つまりＦ値、を変更したり、撮像信号の撮像素子１０３部分における増幅率を変更したりする。また、ＤＳＰ部１０５における画像処理色パラメータを調節したりするためのフィードバック制御も行う。
以上のモニタリング処理や、先に述べた操作部１１３の状態の読み込み処理の並行処理は、例えば２０ｍｓの定期タイマ割り込みで実行される。
メイン処理におけるステップＳ１１においてモニタリング状態がオンであると判定された場合、ステップＳ１３において充電が不要であると判定された場合、そしてステップＳ１４で充電が開始された場合には、操作部１１３のスイッチ等の操作状態を判定する操作判定処理が行われる（ステップＳ１５）。
メイン処理のステップＳ１５の操作判定処理は、上述した２０ｍｓ毎の定期タイマ割り込み処理で、入力されるスイッチ等の操作情報を確定して、操作されたスイッチ等に対応する処理を行う。
ステップＳ１５において、有効な操作情報が検知されなければ、何もせずにステップＳ１１に戻り、再びステップＳ１５の操作判定処理に戻るループを繰り返す。先に述べた通り、この例では、静止画のみについて述べている。
メイン処理におけるステップＳ１１においてモニタリング状態がオンであると判定された場合、ステップＳ１３において充電が不要であると判定された場合、そしてステップＳ１４で充電が開始された場合には、操作部１１３のスイッチ等の操作状態を判定する操作判定処理が行われる（ステップＳ１５）。
メイン処理のステップＳ１５の操作判定処理は、上述した２０ｍｓ毎の定期タイマ割り込み処理で、入力されるスイッチ等の操作情報を確定して、操作されたスイッチ等に対応する処理を行う。
ステップＳ１５において、有効な操作情報が検知されなければ、何もせずにステップＳ１１に戻り、再びステップＳ１５の操作判定処理に戻るループを繰り返す。先に述べた通り、この例では、静止画のみについて述べている。
図２０における操作情報に応じたメイン処理動作を、図１９を参照しながら説明する。図１９に示す構成において、操作部１１３には、シャッタのレリーズ操作を行うためのシャッタボタンが含まれている。
静止画の撮像時は、シャッタボタンの半押し、つまり第１段を押下したときに作動する第一スイッチがオンとなると、モニタリングを停止して（ステップＳ１６）、ＡＥ処理を行う（ステップＳ１７）。ステップＳ１７のＡＥ処理においては、撮像データをＤＳＰ部１０５で評価し、撮影露出時に対応して撮像素子駆動回路１０７に設定する撮像素子の露光時間値および撮像素子１０３の増幅率を決定する。
次にＡＦ処理を行う（ステップＳ１８）。ここでは、後述する本発明方式によるＡＦ操作を含むＡＦ操作を行うが、最初に一般的な山登り方式を例にとって説明する。
ＣＰＵ１０８は、メカニカルドライバ部１０６により撮像レンズ１０１のフォーカスを移動させながら、合焦評価値として撮像データの先鋭度（鮮明度）を検出し、その検出量がピークとなるフォーカス位置に撮像レンズ１を移動させてレンズを停止させる山登り方式によるＡＦ操作を行い（ステップＳ１９）、ステップＳ１１に戻る。
静止画の撮像時は、シャッタボタンの半押し、つまり第１段を押下したときに作動する第一スイッチがオンとなると、モニタリングを停止して（ステップＳ１６）、ＡＥ処理を行う（ステップＳ１７）。ステップＳ１７のＡＥ処理においては、撮像データをＤＳＰ部１０５で評価し、撮影露出時に対応して撮像素子駆動回路１０７に設定する撮像素子の露光時間値および撮像素子１０３の増幅率を決定する。
次にＡＦ処理を行う（ステップＳ１８）。ここでは、後述する本発明方式によるＡＦ操作を含むＡＦ操作を行うが、最初に一般的な山登り方式を例にとって説明する。
ＣＰＵ１０８は、メカニカルドライバ部１０６により撮像レンズ１０１のフォーカスを移動させながら、合焦評価値として撮像データの先鋭度（鮮明度）を検出し、その検出量がピークとなるフォーカス位置に撮像レンズ１を移動させてレンズを停止させる山登り方式によるＡＦ操作を行い（ステップＳ１９）、ステップＳ１１に戻る。
そして、第一スイッチがオンとなっている状態で、シャッタボタンを全押し、つまり第２段を押下したときに作動する第二スイッチがオンとなると、モニタリングを停止して（ステップＳ２０）、静止画記録処理を行う（ステップＳ２１）。ステップＳ２１の静止画記録処理においては、撮像データをメモリ部１０９に取り込み、ＤＳＰ部１０５において、輝度および色差信号に変換するなどの所要の映像信号処理、またはＪＰＥＧ圧縮処理等の処理を行い、そのような処理が施された画像データをファイルとしてメモリカード１１１に書き込む。その後、処理は、ステップＳ１１に戻る。
なお、操作部１１３において、その他の操作が行われ、それがステップＳ１５において検出判定されたときは、当該操作に対応する処理が行われて、ステップＳ１１に戻る。
上述においては、ステップＳ１８におけるＡＦ処理について、山登り方式を例にとって説明したが、本発明に係るこの実施の形態のディジタルカメラにおいては、本発明に係るＡＦ操作を含むＡＦ処理を行う。このＡＦ処理について説明する。
なお、操作部１１３において、その他の操作が行われ、それがステップＳ１５において検出判定されたときは、当該操作に対応する処理が行われて、ステップＳ１１に戻る。
上述においては、ステップＳ１８におけるＡＦ処理について、山登り方式を例にとって説明したが、本発明に係るこの実施の形態のディジタルカメラにおいては、本発明に係るＡＦ操作を含むＡＦ処理を行う。このＡＦ処理について説明する。
本発明に係るＡＦ方式は、先に説明したように、画像撮像用の撮像素子として、マイクロレンズアレイ付きの撮像素子１０３を用い、コンパクトでありながら、ＴＴＬ方式で、ピントのずれ量を判定することが可能なＡＦ方式である。補足すると、従来、一般的に用いられていた撮像レンズと画像撮像用の撮像素子の構成に加えて、撮像素子の前面に複数のマイクロレンズを配列したマイクロレンズアレイを配置することにより、単一の撮像素子を用いてピントずれ情報と画像生成用の画素データを得ることができる。
本発明に係るＡＦ方式の原理については、既に図１〜図１８に関連して説明してあるので、ここでは、概略のみを簡単に説明する。
撮像素子１０３の受光面には、所定の画素列（Ａライン）に沿って複数のマイクロレンズを配列したマイクロレンズアレイ４が設けられている（図３および図６参照）。
図７および図８のように撮像素子の前面に近接してマイクロレンズアレイを配置しており、マイクロレンズアレイは、所定の画素列に対応して、複数のマイクロレンズＭ１〜Ｍｘが密接して直線状に配列され、各マイクロレンズは、撮像素子の隣接する複数の画素を覆っている。
本発明に係るＡＦ方式の原理については、既に図１〜図１８に関連して説明してあるので、ここでは、概略のみを簡単に説明する。
撮像素子１０３の受光面には、所定の画素列（Ａライン）に沿って複数のマイクロレンズを配列したマイクロレンズアレイ４が設けられている（図３および図６参照）。
図７および図８のように撮像素子の前面に近接してマイクロレンズアレイを配置しており、マイクロレンズアレイは、所定の画素列に対応して、複数のマイクロレンズＭ１〜Ｍｘが密接して直線状に配列され、各マイクロレンズは、撮像素子の隣接する複数の画素を覆っている。
マイクロレンズアレイが存在しなければ、撮像素子の各画素には、撮像レンズの全面からの光が照射されるが、マイクロレンズによって、撮像素子の画素Ｎａ１〜Ｎａｘは、撮像レンズの点ａからの光線を受光する。したがって、図７のように、撮影素子からこれらの画素Ｎａ１〜Ｎａｘのみを抽出して、画像を再構成すれば、撮像レンズの点ａから被写界を覗き込んだ画像が得られる。
同様に、図８のように、画素Ｎｂ１〜Ｎｂｘのみを抽出して、画像を再構成すれば、撮像レンズの点ｂから被写界を覗き込んだ画像が得られる。
さらに、図示していないが、撮像レンズの中心点ｃから被写界を覗き込んだ画像を作るための、画素Ｎｃ１〜Ｎｃｘをも定めておいてもよい。
このようにして、撮像レンズとマイクロレンズアレイとの間の距離ｆｍにおいて、ＣＰＵ１０８の機能として実現される合焦情報取得手段によって、予め定めたＮａ１〜Ｎａｘ、Ｎｂ１〜Ｎｂｘ、Ｎｃ１〜Ｎｃｘの画素でそれぞれ画像を再構成すると、撮像レンズの点ａ、点ｂおよび点ｃから見た互いに視差のある被写界画像を得ることができ、視差のある像からは、原理的に被写体の距離情報を求めることが可能である。
同様に、図８のように、画素Ｎｂ１〜Ｎｂｘのみを抽出して、画像を再構成すれば、撮像レンズの点ｂから被写界を覗き込んだ画像が得られる。
さらに、図示していないが、撮像レンズの中心点ｃから被写界を覗き込んだ画像を作るための、画素Ｎｃ１〜Ｎｃｘをも定めておいてもよい。
このようにして、撮像レンズとマイクロレンズアレイとの間の距離ｆｍにおいて、ＣＰＵ１０８の機能として実現される合焦情報取得手段によって、予め定めたＮａ１〜Ｎａｘ、Ｎｂ１〜Ｎｂｘ、Ｎｃ１〜Ｎｃｘの画素でそれぞれ画像を再構成すると、撮像レンズの点ａ、点ｂおよび点ｃから見た互いに視差のある被写界画像を得ることができ、視差のある像からは、原理的に被写体の距離情報を求めることが可能である。
すなわち、図１２（ａ）のように、撮像レンズの点ａ、点ｂおよび点ｃを通る光による像は、合焦被写界点にある被写体が、マイクロレンズアレイ上に結像され、合焦被写界点よりも近いニア被写界点にある被写体は、撮像レンズからマイクロレンズアレイよりも遠い箇所に結像され、そして合焦被写界点よりも遠いファー被写界点にある被写体は、撮像レンズ１とマイクロレンズアレイ４との中間位置に結像される。
上述のようにして、点ａ、点ｂおよび点ｃを通る光による像、すなわち、点ａ像、点ｂ像および点ｃ像を再構成により形成すれば、それぞれ、ニア被写界点については、図１２（ｂ）、合焦被写界点については、図１２（ｃ）、そしてファー被写界点については、図１２（ｄ）に示すような点ａ像、点ｂ像および点ｃ像が形成される。
点ｃ像の中央部近傍で相関評価ウィンドウを定義すれば、その像は、撮影レンズが垂直に真っ直ぐに貫かれる主光軸上の被写体像である。この相関評価ウィンドウ内のコントラスト像とほぼ一致する像位置を、点ａ像および点ｂ像内で検索する。具体的には、点ｃ像で設定した相関評価ウィンドウ内の像と、点ａ像または点ｂ像とを同じウィンドウ幅で像位置をシフトしながら比較し、相関性、つまり一致度、の高い像位置を求める。
上述のようにして、点ａ、点ｂおよび点ｃを通る光による像、すなわち、点ａ像、点ｂ像および点ｃ像を再構成により形成すれば、それぞれ、ニア被写界点については、図１２（ｂ）、合焦被写界点については、図１２（ｃ）、そしてファー被写界点については、図１２（ｄ）に示すような点ａ像、点ｂ像および点ｃ像が形成される。
点ｃ像の中央部近傍で相関評価ウィンドウを定義すれば、その像は、撮影レンズが垂直に真っ直ぐに貫かれる主光軸上の被写体像である。この相関評価ウィンドウ内のコントラスト像とほぼ一致する像位置を、点ａ像および点ｂ像内で検索する。具体的には、点ｃ像で設定した相関評価ウィンドウ内の像と、点ａ像または点ｂ像とを同じウィンドウ幅で像位置をシフトしながら比較し、相関性、つまり一致度、の高い像位置を求める。
もしも、図１２（ｂ）のように、点ｃ像の像位置を中央に、左側の位置に点ａ像、右側の位置に点ｂ像があったとすると、対象被写体よりも近いニア被写界点にピントが合っている（前ピン状態）と判定することができる。そして、図１２（ｃ）のように、点ｃ像と点ａ像と点ｂ像の像位置が全て一致していれば、合焦状態と判定することができる。また、もしも、図１２（ｄ）のように、点ｃ像の位置を中央に、右側の位置に点ａ像、左側の位置に点ｂ像があったとすると、対象被写体よりも遠いファー被写界点にピントが合っている（後ピン状態）と判定することができる。
図１２（ｂ）〜図１２（ｄ）に示した、点ａ像および点ｂ像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求め、ピントずれを検出することができる。しかしながら、図示のように点ｃ像を加えることによって、３つの像の相関を評価し、より正確な像一致を検出することができる。
図１２（ｂ）〜図１２（ｄ）に示した、点ａ像および点ｂ像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求め、ピントずれを検出することができる。しかしながら、図示のように点ｃ像を加えることによって、３つの像の相関を評価し、より正確な像一致を検出することができる。
図１３は、点ｃ像の相関評価ウィンドウを、中央近傍以外にした場合の一例を示しており、撮像レンズ、撮像素子の画素列およびマイクロレンズアレイ、ならびに被写界における合焦被写界点にある被写体、ニア被写界点にある被写体およびファー被写界点にある被写体の光学的幾何学的な関係を示している。
点ｃ像で設定した相関評価ウィンドウ内の像と、点ａ像または点ｂ像とを同じウィンドウ幅で像位置をシフトしながら比較し、一致度の高い像位置を求める。もしも、図１３（ｂ）のように、図示やや右寄りに位置する点ｃ像の像位置に対して、左側の位置に点ａ像、右側の位置に点ｂ像があったとすると、対象被写体よりも近いニア被写界点にピントが合っている（前ピン状態）と判定する。そして、図１３（ｃ）のように、やや右寄りの位置において、点ｃ像と点ａ像と点ｂ像の像位置が全て一致していれば、合焦状態と判定する。また、もしも、図１３（ｄ）のように、やや右寄りに位置する点ｃ像の位置を中央に、右側の位置に点ａ像、左側の位置に点ｂ像があれば、対象被写体よりも遠いファー被写界点にピントが合っている（後ピン状態）と判定する。
点ｃ像で設定した相関評価ウィンドウ内の像と、点ａ像または点ｂ像とを同じウィンドウ幅で像位置をシフトしながら比較し、一致度の高い像位置を求める。もしも、図１３（ｂ）のように、図示やや右寄りに位置する点ｃ像の像位置に対して、左側の位置に点ａ像、右側の位置に点ｂ像があったとすると、対象被写体よりも近いニア被写界点にピントが合っている（前ピン状態）と判定する。そして、図１３（ｃ）のように、やや右寄りの位置において、点ｃ像と点ａ像と点ｂ像の像位置が全て一致していれば、合焦状態と判定する。また、もしも、図１３（ｄ）のように、やや右寄りに位置する点ｃ像の位置を中央に、右側の位置に点ａ像、左側の位置に点ｂ像があれば、対象被写体よりも遠いファー被写界点にピントが合っている（後ピン状態）と判定する。
なお、図１３（ｂ）〜図１３（ｄ）に示した、点ａ像および点ｂ像のみを用いても、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求め、ピントずれを検出することができる。しかしながら、図示のように点ｃ像を加えることによって、３つの像の相関を評価し、より正確な像一致を検出することができる。
このように、撮像レンズの主光軸以外の被写体に対する合焦状態を検出することができるばかりでなく、ならびに後ピンおよび前ピンの各ピントずれ状態をも検出することができ、後ピンと前ピンにおける点ａ像および点ｂ像のずれ方向が逆であることから、ピントのずれ方向も判別することができる。このようなピントずれ状態が、検出された場合には、ピントずれの方向とは逆に撮像レンズを動かすなどして、合焦状態が得られるまで制御すればピントのあった状態とすることができる。また、撮像レンズとマイクロレンズアレイとの間の距離ｆｍおよび点ａ像と点ｂ像の像位置の差から計算して、概略的な被写体の距離を求めることも可能である。
このように、撮像レンズの主光軸以外の被写体に対する合焦状態を検出することができるばかりでなく、ならびに後ピンおよび前ピンの各ピントずれ状態をも検出することができ、後ピンと前ピンにおける点ａ像および点ｂ像のずれ方向が逆であることから、ピントのずれ方向も判別することができる。このようなピントずれ状態が、検出された場合には、ピントずれの方向とは逆に撮像レンズを動かすなどして、合焦状態が得られるまで制御すればピントのあった状態とすることができる。また、撮像レンズとマイクロレンズアレイとの間の距離ｆｍおよび点ａ像と点ｂ像の像位置の差から計算して、概略的な被写体の距離を求めることも可能である。
なお、上述から明らかなように、点ｃ像についての相関評価ウィンドウの設定位置によって、撮像レンズ１の異なる軸外光線上に存在する被写体のピント情報を得られるので、画面の中央だけでなく、画面端の被写体の合焦制御を行うことも可能である。
図２０のステップＳ１８におけるＡＦ処理においては、上述した本発明に係るＡＦ方式に従ったＡＦ処理に加えて、いわゆるコントラスト情報を用いたＡＦ処理を併用している。なお、図２０のステップＳ１８におけるＡＦ処理は、上述した本発明に係るＡＦ方式に従ったＡＦ処理のみを行うようにしてもよい。
撮像素子１０３が、画素フィルタを介するなどして複数の色情報が分布配置されるカラーの撮像素子である場合には、色による影響を受けないようにするために、同一色の画素データ、または同一の組み合わせの複数色の画素データを用いなければならない。すなわち、このようなカラー撮像素子において、マイクロレンズを通した画素データを抽出して点ａ像や点ｂ像を再構成する場合には、同一色の画素データを抽出する必要がある。
このため、複数の色情報が分布配置される通常のカラー撮像素子をそのまま使う場合には、特定の色情報の画素データを抽出することになり、全画素数をＡＦ用に利用することができず、高い分解能が得られない。そこで、このような場合、例えば、ＡＦ用のマイクロレンズアレイの各マイクロレンズに対応する画素列については、色フィルタを除去して、モノクローム化すれば、全画素を抽出対象とすることができるため、高い分解能を得ることができる。
図２０のステップＳ１８におけるＡＦ処理においては、上述した本発明に係るＡＦ方式に従ったＡＦ処理に加えて、いわゆるコントラスト情報を用いたＡＦ処理を併用している。なお、図２０のステップＳ１８におけるＡＦ処理は、上述した本発明に係るＡＦ方式に従ったＡＦ処理のみを行うようにしてもよい。
撮像素子１０３が、画素フィルタを介するなどして複数の色情報が分布配置されるカラーの撮像素子である場合には、色による影響を受けないようにするために、同一色の画素データ、または同一の組み合わせの複数色の画素データを用いなければならない。すなわち、このようなカラー撮像素子において、マイクロレンズを通した画素データを抽出して点ａ像や点ｂ像を再構成する場合には、同一色の画素データを抽出する必要がある。
このため、複数の色情報が分布配置される通常のカラー撮像素子をそのまま使う場合には、特定の色情報の画素データを抽出することになり、全画素数をＡＦ用に利用することができず、高い分解能が得られない。そこで、このような場合、例えば、ＡＦ用のマイクロレンズアレイの各マイクロレンズに対応する画素列については、色フィルタを除去して、モノクローム化すれば、全画素を抽出対象とすることができるため、高い分解能を得ることができる。
また、図１９に示すように三角測距方式によるＡＦ処理部１１４を別途に設けている場合には、上述した図２０のステップＳ１８の本発明方式を含むＡＦ処理に先立ってまたは定常的にタイマ割り込みによる並行処理として、アクティブまたはパッシブの三角測距方式のＡＦ操作を行って、図２０のステップＳ１８の本発明方式を含むＡＦ処理の前に、撮像レンズ１０１を一般的な中央部等の被写体における合焦位置近傍に合わせておけば、ステップＳ１８のＡＦ処理の際の撮像素子１０３の移動距離が短くて済み、より高速に且つ高精度にＡＦ操作を行うことが可能となる。
このようにして、自動合焦を行った場合、マイクロレンズアレイの各マイクロレンズに対応する部分以外の撮像素子１０３の画素部分は、撮像レンズ１によって結像された被写界像を、撮像された画像として表示および記録の少なくとも一方に供するようにしなければならない。ところが、図６に示すＡラインのように、ＡＦ用の光学系であるマイクロレンズアレイ４のマイクロレンズ群を通った画素については、他の通常の画素と異なり、画像の生成に利用することができない。そこで、ＣＰＵ１０８の機能として実現される画像生成手段は、例えば、マイクロレンズアレイ付き撮像素子１０３を移動させて、ＡＦ用の光学系であるマイクロレンズアレイのマイクロレンズ群を通った部分に相当する画素の画素値を求めるようにしてもよい。
このようにして、自動合焦を行った場合、マイクロレンズアレイの各マイクロレンズに対応する部分以外の撮像素子１０３の画素部分は、撮像レンズ１によって結像された被写界像を、撮像された画像として表示および記録の少なくとも一方に供するようにしなければならない。ところが、図６に示すＡラインのように、ＡＦ用の光学系であるマイクロレンズアレイ４のマイクロレンズ群を通った画素については、他の通常の画素と異なり、画像の生成に利用することができない。そこで、ＣＰＵ１０８の機能として実現される画像生成手段は、例えば、マイクロレンズアレイ付き撮像素子１０３を移動させて、ＡＦ用の光学系であるマイクロレンズアレイのマイクロレンズ群を通った部分に相当する画素の画素値を求めるようにしてもよい。
すなわち、図１６に示したように、ＡＦ用のマイクロレンズアレイのマイクロレンズ群がＡライン上に配置された撮像素子を、例えば図１８に示すように２画素分下方に移動させる。このようにすると、元のＡラインの位置にＡラインの２ライン上方のラインが対応し、このラインによって元のＡライン上のＧおよびＲの画素データを得ることができる。このとき、Ａラインの１ライン上方のＢラインが、元のＡラインの１ライン下方のＣラインに対応し、Ａラインが、元のＡラインの２ライン下方のＤラインに対応する。
このように、撮像素子を移動させる方式としては、例えばコイル付き基板に保持した撮像素子と、その撮像素子の基板を縦横に移動可能とした磁石付きステージとからなる構成を用いることができる。このとき、撮像素子の基板に、位置検出用としてホール素子を設けておく。撮像素子の基板上のコイルに電流を流すことによって、ステージ側の磁石との間で電磁力を作用させ、ステージ上で撮像素子を移動させることができる。その移動量はホール素子で検出することができるので、その移動画素数を制御することが可能となる。また、やや雑に撮像素子を移動した場合でも、生成される２つの画像の間で画素毎の相関が強くなるようにして、これら２つの画素を重ね合わせれば、ＡＦ用の光学系であるマイクロレンズアレイの部分に対応する位置の画素データを、両画像間で補間し合うようにすることができる。
もちろん、ＣＰＵ１０８の機能として実現される画像生成手段は、上述したように、Ａラインに相当する部分の画素データを周辺の画素データから補間によって求めるなどしてもよい。
このように、撮像素子を移動させる方式としては、例えばコイル付き基板に保持した撮像素子と、その撮像素子の基板を縦横に移動可能とした磁石付きステージとからなる構成を用いることができる。このとき、撮像素子の基板に、位置検出用としてホール素子を設けておく。撮像素子の基板上のコイルに電流を流すことによって、ステージ側の磁石との間で電磁力を作用させ、ステージ上で撮像素子を移動させることができる。その移動量はホール素子で検出することができるので、その移動画素数を制御することが可能となる。また、やや雑に撮像素子を移動した場合でも、生成される２つの画像の間で画素毎の相関が強くなるようにして、これら２つの画素を重ね合わせれば、ＡＦ用の光学系であるマイクロレンズアレイの部分に対応する位置の画素データを、両画像間で補間し合うようにすることができる。
もちろん、ＣＰＵ１０８の機能として実現される画像生成手段は、上述したように、Ａラインに相当する部分の画素データを周辺の画素データから補間によって求めるなどしてもよい。
次に、図２１を参照してこの実施の形態のディジタルカメラにおけるタイミングチャートの一例を説明する。
図２１において、露光については、電子シャッタ閉と露光とを周期的に繰り返す。
まず、期間ｆ−１で露光をする。この露光は、図１６の状態で行われるものとする。
期間ｆ−２の最初に、撮像素子１０３を移動させ、図１８のように撮像素子をずらして露光する。
この期間ｆ−２において、ｆ−１で露光したＡラインの画素データを読み出し、光束角度演算でピントずれを計算し、ずれを補正する方向に撮像レンズ（フォーカスレンズ）を駆動開始する。
期間ｆ−３において、期間ｆ−２での露光による撮像データを読み出し、モニタリング中であれば、読み出した撮像データから、ＡＥ処理およびＡＷＢ処理の計算をする。
期間ｆ−２での露光は、図１６に対応する期間ｆ−１での露光とは２画素ずらした位置、即ち図１８の状態での露光である。
図２１において、露光については、電子シャッタ閉と露光とを周期的に繰り返す。
まず、期間ｆ−１で露光をする。この露光は、図１６の状態で行われるものとする。
期間ｆ−２の最初に、撮像素子１０３を移動させ、図１８のように撮像素子をずらして露光する。
この期間ｆ−２において、ｆ−１で露光したＡラインの画素データを読み出し、光束角度演算でピントずれを計算し、ずれを補正する方向に撮像レンズ（フォーカスレンズ）を駆動開始する。
期間ｆ−３において、期間ｆ−２での露光による撮像データを読み出し、モニタリング中であれば、読み出した撮像データから、ＡＥ処理およびＡＷＢ処理の計算をする。
期間ｆ−２での露光は、図１６に対応する期間ｆ−１での露光とは２画素ずらした位置、即ち図１８の状態での露光である。
期間ｆ−４においては、期間ｆ−２で露光され、期間ｆ−３で読み出された画素データを用いて、画像を生成する。
期間ｆ−３で読み出された図１８の状態での全画素のデータと、不足しているＡラインのデータについて、既に期間ｆ−１または期間ｆ−３で図１６の状態で露光され期間ｆ−２または期間ｆ−４で得ているＤラインを使用して、画像を生成する。
その画像を期間ｆ−５において、表示に供する。
また、撮像レンズの駆動の開始に合わせて、図２２に示すように、Ａライン部分Ａａとは別の、撮像素子１０３の撮像画像生成用の画素部の一部を、コントラストエリアＡｃとして読み出し、コントラスト情報を得る。
撮像レンズの駆動に同期させてコントラスト情報も得て、最もコントラスト値の大きい撮像データを得たレンズ位置に最終レンズ位置を合わせる。
撮像レンズ１０１と撮像素子１０３に付設されたマイクロレンズアレイとの光学性能の違いによって焦点の合う位置が異なったり、また、それらの差が装置の個体差によってばらついている場合に、上述したコントラスト情報を併用することによって、画像撮像用の撮像エリアに正確にピント合わせされたレンズ位置に撮像レンズ１０１を制御することができる。
期間ｆ−３で読み出された図１８の状態での全画素のデータと、不足しているＡラインのデータについて、既に期間ｆ−１または期間ｆ−３で図１６の状態で露光され期間ｆ−２または期間ｆ−４で得ているＤラインを使用して、画像を生成する。
その画像を期間ｆ−５において、表示に供する。
また、撮像レンズの駆動の開始に合わせて、図２２に示すように、Ａライン部分Ａａとは別の、撮像素子１０３の撮像画像生成用の画素部の一部を、コントラストエリアＡｃとして読み出し、コントラスト情報を得る。
撮像レンズの駆動に同期させてコントラスト情報も得て、最もコントラスト値の大きい撮像データを得たレンズ位置に最終レンズ位置を合わせる。
撮像レンズ１０１と撮像素子１０３に付設されたマイクロレンズアレイとの光学性能の違いによって焦点の合う位置が異なったり、また、それらの差が装置の個体差によってばらついている場合に、上述したコントラスト情報を併用することによって、画像撮像用の撮像エリアに正確にピント合わせされたレンズ位置に撮像レンズ１０１を制御することができる。
上述においては、モニタリング時の被写界像の撮像動作に沿って説明したが、外部着脱可能なメモリカードに記録保存し得る撮像データも上述と同様にして生成することができる。
以上の操作を繰り返すことによって、モニタリング中のピント合わせの追尾処理やユーザ観察用の表示画像の生成を実現することができる。
また、モニタリング中に１ショットのＡＦ動作において、ＡＦ動作中の表示画像をフリーズ表示させるようにすれば、（画像表示の更新が不要であるので）特に期間ｆ−３以後の撮像素子の移動は行わなくてもよい。
また、上述において説明したように、画像生成用の画素データとして、Ａラインに対応する画素データを無視することができる場合、またはＡラインに対応する画素データを、周辺画素による補間で求めることができる場合には、撮像素子１０３の移動は行わなくてもよい。
上述においては、マイクロレンズアレイ付きの撮像素子１０３のように、ＡＦ用のマイクロレンズアレイと撮像素子との位置関係が一定である場合について説明したが、撮像素子を移動させずにＡＦ用のマイクロレンズアレイを可動とすることによっても、Ａラインの画素データの取得を実現することができる。
以上の操作を繰り返すことによって、モニタリング中のピント合わせの追尾処理やユーザ観察用の表示画像の生成を実現することができる。
また、モニタリング中に１ショットのＡＦ動作において、ＡＦ動作中の表示画像をフリーズ表示させるようにすれば、（画像表示の更新が不要であるので）特に期間ｆ−３以後の撮像素子の移動は行わなくてもよい。
また、上述において説明したように、画像生成用の画素データとして、Ａラインに対応する画素データを無視することができる場合、またはＡラインに対応する画素データを、周辺画素による補間で求めることができる場合には、撮像素子１０３の移動は行わなくてもよい。
上述においては、マイクロレンズアレイ付きの撮像素子１０３のように、ＡＦ用のマイクロレンズアレイと撮像素子との位置関係が一定である場合について説明したが、撮像素子を移動させずにＡＦ用のマイクロレンズアレイを可動とすることによっても、Ａラインの画素データの取得を実現することができる。
なお、上述におけるピント情報を得るためのマイクロレンズアレイおよび制御方法を、撮像素子の複数のラインについて（少なくとも２回異なる位置で）実施すれば、画面内の複数個所でピント情報を得ることもでき、マイクロレンズアレイを、水平方向の画素列に対応させて設けるものとして説明したが、垂直方向または斜め方向の画素列に対応させるようにしてもよい。
１ 撮像レンズ（撮像光学系）
２ 絞り
３ 撮像素子
４ マイクロレンズアレイ
１０１ 撮像レンズ（撮像光学系）
１０２ 絞り−シャッタユニット
１０３ マイクロレンズアレイ付き撮像素子
１０４ ＣＤＳ（相関二重サンプリング）−ＡＤ（Ａ／Ｄ変換）部
１０５ ＤＳＰ（ディジタル信号処理）部
１０６ メカニカルドライバ部
１０７ 撮像素子駆動回路
１０８ ＣＰＵ（中央処理部）
１０９ メモリ部
１１０ 通信ドライバ
１１１ メモリカード
１１２ 表示部
１１３ 操作部
１１４ ＡＦ（自動合焦制御）処理部
１１５ ストロボ発光部
１１６ ストロボ電源部
１１７ ストロボ受光部
Ｇ１ 第１レンズ群
Ｇ２ 第２レンズ群
Ｇ３ 第３レンズ群
Ｇ４ 第４レンズ群
ＭＬα，ＭＬβ，Ｍ１〜Ｍｘ マイクロレンズ
ｆｍ 撮像レンズとマイクロレンズアレイとの間の距離
Ｎａ１〜Ｎａｘ，Ｎｂ１〜Ｎｂｘ，Ｎｃ１〜Ｎｃｘ 撮像素子の画素
２ 絞り
３ 撮像素子
４ マイクロレンズアレイ
１０１ 撮像レンズ（撮像光学系）
１０２ 絞り−シャッタユニット
１０３ マイクロレンズアレイ付き撮像素子
１０４ ＣＤＳ（相関二重サンプリング）−ＡＤ（Ａ／Ｄ変換）部
１０５ ＤＳＰ（ディジタル信号処理）部
１０６ メカニカルドライバ部
１０７ 撮像素子駆動回路
１０８ ＣＰＵ（中央処理部）
１０９ メモリ部
１１０ 通信ドライバ
１１１ メモリカード
１１２ 表示部
１１３ 操作部
１１４ ＡＦ（自動合焦制御）処理部
１１５ ストロボ発光部
１１６ ストロボ電源部
１１７ ストロボ受光部
Ｇ１ 第１レンズ群
Ｇ２ 第２レンズ群
Ｇ３ 第３レンズ群
Ｇ４ 第４レンズ群
ＭＬα，ＭＬβ，Ｍ１〜Ｍｘ マイクロレンズ
ｆｍ 撮像レンズとマイクロレンズアレイとの間の距離
Ｎａ１〜Ｎａｘ，Ｎｂ１〜Ｎｂｘ，Ｎｃ１〜Ｎｃｘ 撮像素子の画素
Claims (16)
- それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、
前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、
前記合焦情報取得手段により得られる合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、
を具備してなり、
前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴とする撮像装置。 - 前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る
ことを特徴とする請求項１に記載の撮像装置。 - 前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項１に記載の撮像装置。
- 前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項１に記載の撮像装置。
- それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、
前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、
前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、
を具備してなり、
前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させることを特徴とする合焦装置。 - 前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることを特徴とする請求項５に記載の合焦装置。
- 前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項５に記載の合焦装置。 - 前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項５に記載の合焦装置。 - それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴とする撮像方法。 - 前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、
前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、
前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることを特徴とする請求項９に記載の撮像方法。 - 前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項９に記載の撮像方法。
- 前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項９に記載の撮像方法。
- それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における合焦方法において、
前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることを特徴とする合焦方法。 - 前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、
前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、
前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることを特徴とする請求項１３に記載の合焦方法。 - 前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項１３に記載の合焦方法。
- 前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも２回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項１３に記載の合焦方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011142394A JP5240591B2 (ja) | 2011-06-27 | 2011-06-27 | 撮像装置、合焦装置、撮像方法および合焦方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011142394A JP5240591B2 (ja) | 2011-06-27 | 2011-06-27 | 撮像装置、合焦装置、撮像方法および合焦方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007214650A Division JP4995002B2 (ja) | 2007-08-21 | 2007-08-21 | 撮像装置、合焦装置、撮像方法および合焦方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011227513A true JP2011227513A (ja) | 2011-11-10 |
| JP5240591B2 JP5240591B2 (ja) | 2013-07-17 |
Family
ID=45042824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011142394A Active JP5240591B2 (ja) | 2011-06-27 | 2011-06-27 | 撮像装置、合焦装置、撮像方法および合焦方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5240591B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014146019A (ja) * | 2013-01-07 | 2014-08-14 | Canon Inc | 撮像装置および撮像装置の制御方法 |
| CN114285991A (zh) * | 2021-12-18 | 2022-04-05 | 中国科学院长春光学精密机械与物理研究所 | 图像探测器的对焦方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6752681B2 (ja) * | 2016-10-19 | 2020-09-09 | キヤノン株式会社 | 表示制御装置、表示制御装置の制御方法及びプログラム並びに記憶媒体 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3066538B2 (ja) * | 1990-11-13 | 2000-07-17 | 株式会社リコー | 焦点状態検出装置 |
| JP2004191893A (ja) * | 2002-12-13 | 2004-07-08 | Canon Inc | 撮像装置 |
| JP2005092085A (ja) * | 2003-09-19 | 2005-04-07 | Canon Inc | 焦点検出及び調節方法並びに焦点検出及び調節装置 |
| JP2007011314A (ja) * | 2005-05-30 | 2007-01-18 | Nikon Corp | 結像状態検出装置、カメラ、及び受光ユニット |
| JP2007133087A (ja) * | 2005-11-09 | 2007-05-31 | Nikon Corp | 焦点検出装置、光学システムおよび焦点検出方法 |
| JP2007158109A (ja) * | 2005-12-06 | 2007-06-21 | Nikon Corp | 焦点検出用信号の生成機能を有する固体撮像装置、および電子カメラ |
-
2011
- 2011-06-27 JP JP2011142394A patent/JP5240591B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3066538B2 (ja) * | 1990-11-13 | 2000-07-17 | 株式会社リコー | 焦点状態検出装置 |
| JP2004191893A (ja) * | 2002-12-13 | 2004-07-08 | Canon Inc | 撮像装置 |
| JP2005092085A (ja) * | 2003-09-19 | 2005-04-07 | Canon Inc | 焦点検出及び調節方法並びに焦点検出及び調節装置 |
| JP2007011314A (ja) * | 2005-05-30 | 2007-01-18 | Nikon Corp | 結像状態検出装置、カメラ、及び受光ユニット |
| JP2007133087A (ja) * | 2005-11-09 | 2007-05-31 | Nikon Corp | 焦点検出装置、光学システムおよび焦点検出方法 |
| JP2007158109A (ja) * | 2005-12-06 | 2007-06-21 | Nikon Corp | 焦点検出用信号の生成機能を有する固体撮像装置、および電子カメラ |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014146019A (ja) * | 2013-01-07 | 2014-08-14 | Canon Inc | 撮像装置および撮像装置の制御方法 |
| CN114285991A (zh) * | 2021-12-18 | 2022-04-05 | 中国科学院长春光学精密机械与物理研究所 | 图像探测器的对焦方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5240591B2 (ja) | 2013-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5034556B2 (ja) | 焦点検出装置および撮像装置 | |
| JP5388544B2 (ja) | 撮像装置およびそのフォーカス制御方法 | |
| JP5207797B2 (ja) | 撮像装置およびその制御方法 | |
| US6377305B2 (en) | Image sensing apparatus | |
| JP4995002B2 (ja) | 撮像装置、合焦装置、撮像方法および合焦方法 | |
| JP5211714B2 (ja) | 撮像装置 | |
| US20100302433A1 (en) | Image forming apparatus | |
| US9681042B2 (en) | Image pickup apparatus, image pickup system, image processing device, and method of controlling image pickup apparatus | |
| KR20130020579A (ko) | 촬영 화상의 보조 정보를 생성하는 촬상장치, 화상처리장치, 및 화상처리방법 | |
| JP6045214B2 (ja) | 焦点調節装置及びその制御方法 | |
| JP7264192B2 (ja) | 撮像素子、および撮像装置 | |
| JP2013037101A (ja) | 焦点検出装置および撮像装置 | |
| JP6529387B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| JP5240591B2 (ja) | 撮像装置、合焦装置、撮像方法および合焦方法 | |
| JP2009092909A (ja) | 撮像装置、フォーカス制御方法、プログラムおよび集積回路 | |
| JP2013113857A (ja) | 撮像装置及びその制御方法 | |
| EP2028843A2 (en) | Focusing device and imaging apparatus using the same | |
| JP2010060771A (ja) | 撮像装置 | |
| JP6561437B2 (ja) | 焦点調節装置および撮像装置 | |
| JP2015043026A (ja) | 撮像装置及びその制御方法 | |
| JP2017192028A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| JP4954834B2 (ja) | 撮像装置、合焦情報取得装置、撮像方法および合焦情報取得方法 | |
| JP6845912B2 (ja) | 撮像装置及びその制御方法 | |
| JP2019184887A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
| JP2016099432A (ja) | 焦点検出装置及び方法、プログラム、記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130321 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5240591 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |