JP2011248106A - 撮像装置 - Google Patents

Abstract

【課題】２つの撮像系が配列された方向と同じ方向にコントラストを有していない被写体に対しても焦点検出を可能にする。
【解決手段】撮像装置は、第１結像光学系を介して被写体の像を撮像する第１撮像素子２１と、第１結像光学系に並置された第２結像光学系３１と、第２結像光学系３１の背後に二次元状に配列された複数のマイクロレンズ３２１と、第２結像光学系およびマイクロレンズを介して被写体からの光束を受光して画像信号を出力する複数の光電変換素子を含む複数の素子群が、マイクロレンズにそれぞれ対応して二次元状に配置された第２撮像素子３３と、画像信号に基づいて、撮影画面上に設けられた焦点検出領域に対応した被写体に対する焦点検出演算を行う演算手段４１と、演算手段４１による焦点検出演算の結果に基づいて、第１結像光学系の焦点調節を行う調節手段４２とを備える。
【選択図】図２

Description

本発明は、撮像装置に関する。

従来から、２つの異なる撮像系を併設し、それぞれの撮像系から取得された画像を用いて三角測量の要領を用いて被写体までの距離を検出するカメラが知られている（たとえば特許文献１）。

特開２００９−２１７１１２号公報

しかしながら、２つの撮像系が配列された方向と同じ方向にコントラストを有さない被写体に対しては焦点検出ができない。また、両撮像系の画角や撮像素子の数等の相違を充分に補正できず焦点検出誤差が発生するという問題があった。

請求項１に記載の発明による撮像装置は、第１結像光学系を介して被写体の像を撮像する第１撮像素子と、第１結像光学系に並置された第２結像光学系と、第２結像光学系の背後に二次元状に配列された複数のマイクロレンズと、第２結像光学系およびマイクロレンズを介して被写体からの光束を受光して画像信号を出力する複数の光電変換素子を含む複数の素子群が、マイクロレンズにそれぞれ対応して二次元状に配置された第２撮像素子と、画像信号に基づいて、撮影画面上に設けられた焦点検出領域に対応した被写体に対する焦点検出演算を行う演算手段と、演算手段による焦点検出演算の結果に基づいて、第１結像光学系の焦点調節を行う調節手段とを備えることを特徴とする。

本発明によれば、第１結像光学系と第２結像光学系との間に視差がある場合であっても、第２撮像素子から出力された画像信号に基づいて、焦点検出領域に対応した被写体に対する焦点検出演算を精度よく行うことができる。

本発明の実施の形態によるデジタルカメラの要部構成を示す図 実施の形態のデジタルカメラの制御系の構成を示すブロック図 マイクロレンズアレイと焦点検出用撮像素子との位置関係を説明する図 マイクロレンズアレイと焦点検出用撮像素子との位置関係を説明する図 実施の形態によるデジタルカメラの焦点検出方法の概念を説明する図 変形例によるデジタルカメラの焦点検出方法の概念を説明する図 液晶ディスプレイに表示されるスルー画の一例を示す図 マイクロレンズアレイと焦点検出エリアとの対応関係を説明する図 ｘｚ平面上における、焦点検出エリアと、焦点検出用撮像素子におけるサンプリング範囲との関係を示す図 焦点検出用撮像素子上における焦点検出エリアに対応する領域とその近傍を示す図 ルックアップテーブルの一例を示す図

図面を用いて、本発明の実施の形態によるデジタルカメラについて詳細に説明する。図１はデジタルカメラの要部構成を説明する断面図である。図１に示すように、デジタルカメラ１のカメラボディ１１には、撮影レンズ群２２を有する撮影光学系２と、焦点検出を行うためのＡＦユニット３と、液晶ディスプレイ１５と、撮影用撮像素子２１とが設けられている。ＡＦユニット３は、焦点検出用対物レンズ３１と、マイクロレンズアレイ３２と、焦点検出用撮像素子３３とによって構成される。なお、図１では、撮影光学系２の光軸方向をｚ軸、ｚ軸と直交する平面を形成するようにｘ軸およびｙ軸が設定されて、図１はｘｚ平面におけるデジタルカメラ１の断面を示している。

図２は実施の形態のデジタルカメラ１の回路構成を示すブロック図である。なお、図１の構成と同一のものについては、同一の符号を付与する。デジタルカメラ１は、撮影用撮像素子２１、撮影用レンズ群２２、絞り２３、レンズ駆動装置２４、絞り駆動装置２５、第１映像回路２６、バッファメモリ２７、撮影用撮像素子２１を駆動する第１撮像素子制御回路２８、焦点検出用対物レンズ３１、マイクロレンズアレイ３２、焦点検出用撮像素子３３、焦点検出用撮像素子３３を駆動する第２撮像素子制御回路３４、第２映像回路３５、ＣＰＵ４０、操作部４４、メモリカードリーダ・ライタ４５ａおよび液晶ディスプレイ１５を備える。また、ＣＰＵ４０は、測距部４１と制御部４２とを機能的に備える。

撮影用レンズ群２２は、被写体光Ｌ１（図１）を撮影用撮像素子２１へ導く。撮影用撮像素子２１は、撮影用レンズ群２２の光軸上であって予定焦点面となる位置に設けられ、撮影用レンズ群２２を介して入射した被写体光Ｌ１が撮像面上に結像される。撮影用撮像素子２１は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮影用撮像素子２１は、後述するＣＰＵ４０の制御部４２からの指示に応じて第１撮像素子制御回路２８により駆動が制御され、撮像面上に結像されている被写体像を撮像し、被写体像に応じた光電変換信号（画像信号）を第１映像回路２６へ出力する。なお、本実施の形態においては、撮影用レンズ群２２の焦点距離を、たとえば８ｍｍとし、撮影用撮像素子２１の有効画素範囲を、たとえば横７．７ｍｍ、縦５．１ｍｍとする。

図１に示すように、ＡＦユニット３の焦点検出用対物レンズ３１は、撮影レンズ群２２に対してｘ軸方向に所定距離だけオフセットされた位置に並置され、焦点検出用対物レンズ３１の背後に配置されたマイクロレンズアレイ３２へ被写体光Ｌ２を導く。そのため、撮影用レンズ群２２と焦点検出用対物レンズ３１との間には同一の被写体に対して視差が生じている。マイクロレンズアレイ３２は、二次元状に配列された複数のマイクロレンズを有し、焦点検出用対物レンズ３１を介して入射した被写体光Ｌ２を焦点検出用撮像素子３３へ導く。焦点検出用撮像素子３３は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。焦点検出用撮像素子３３は、後述するＣＰＵ４０の制御部４２からの指示に応じて第２撮像素子制御回路３４により駆動が制御され、被写体光に応じた光電変換信号（画像信号）を第２映像回路３５へ出力する。

図１に示すように、マイクロレンズアレイ３２および焦点検出用撮像素子３３の中心Ｃは、撮影用レンズ２２と焦点検出用対物レンズ３１とのパララックスを考慮して、焦点検出用対物レンズ３１の光軸に対してｘ軸方向に所定距離だけオフセットされた位置に設けられる。本実施の形態においては、撮影用レンズ群２２の焦点距離を、たとえば６ｍｍとし、マイクロレンズアレイ３２の有効画素範囲を、たとえば横７．５ｍｍ、縦４．１ｍｍとする。換言すると、マイクロレンズアレイ３２の範囲を画面範囲と見なした場合の画角は、撮影光学系２の画角よりも広い。なお、ＡＦユニット３の詳細については説明を後述する。

第１映像回路２６は、撮影用撮像素子２１から入力した画像信号をデジタル画像信号に変換し、デジタル画像信号に対して種々の画像処理を施して撮像画像データを生成する。制御部４２は生成された画像データに対してＪＰＥＧ圧縮処理を施し、ＥＸＩＦなどの形式でメモリカードリーダ・ライタ４５ａに装着されたメモリカードへ記録する。また、制御部４２は、生成された画像データ用いて表示用画像データを生成し、対応する表示用画像を液晶ディスプレイ１５に表示させる。第２映像回路３５は、焦点検出用撮像素子３３から入力した画像信号をデジタル画像信号に変換し、ＣＰＵ４０の測距部４１へ出力する。

ＣＰＵ４０は、図示しないＲＯＭやＲＡＭ等の周辺回路を有し、デジタルカメラ１の各構成要素を制御する。制御部４２は、制御プログラムに基づいて、デジタルカメラ１を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ１の各部に対する制御信号を送出して、撮影動作を制御する。測距部４１は、第２映像回路３５から入力した画像信号を用いて焦点検出処理を行う。なお、測距部４１による処理の詳細については、説明を後述する。

レンズ駆動装置２４は、制御部４２からの制御によって、撮影用レンズ群２２を構成する焦点調節レンズを光軸方向に駆動させる。絞り駆動装置２５は、制御部４２からの制御によって、絞り２３を駆動する。バッファメモリ２７は、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性の記録媒体である。

操作部４４は、ユーザの操作を受け付けるユーザインタフェースである。操作部４４には、電源スイッチ、レリーズスイッチ、後述する焦点検出エリアを選択、決定するためのスイッチなどが含まれる。

次に、図３、図４を用いて、ＡＦユニット３の構成について説明する。なお、図３および図４では、説明の都合上、マイクロレンズアレイ３２および焦点検出用撮像素子３３の一部を代表して図示する。

図３は、マイクロレンズアレイ３２と焦点検出用撮像素子３３とを示す斜視図である。図３に示すように、焦点検出用撮像素子３３は二次元状に配列された複数の画素アレイ３７を備える。画素アレイ３７のそれぞれは、二次元状に配列された複数の光電変換素子３６を有する。そして、マイクロレンズアレイ３２を構成する各マイクロレンズ３２１は、各画素アレイ３７に対応して配置されている。換言すると、１つのマイクロレンズ３２１は、複数の光電変換素子３６に対応して設けられている。なお、図３においては、マイクロレンズアレイ３２と焦点検出用撮像素子３３とのｚ軸方向の距離は、説明の都合上、実際よりも離間させて示しているが、通常はマイクロレンズアレイ３２を構成するマイクロレンズの焦点距離ｆの程度である。

マイクロレンズアレイ３２の被写体に対向する面Ｚにおける各マイクロレンズ３２１の輪郭近傍およびマイクロレンズ３２１間と、側面Ｘとには、迷光防止のための遮光性の薄膜が設けられている。図３では、薄膜が設けられる領域に斜線を付して示す。

図４は、マイクロレンズアレイ３２と焦点検出用撮像素子３３とのｚ軸方向の位置関係を説明する概念図である。図４に示す符号３ａは、後述する焦点ズレ量を算出する際の原点となる基準焦点検出平面である。焦点検出用対物レンズ３１から入射した被写体光Ｌ２の像が基準焦点検出面３ａで結像するときに、焦点ズレ量を０とする。そして、被写体光Ｌ２の像が基準焦点検出面３ａよりも焦点検出用対物レンズ３１側、すなわち被写体側に結像するときをプラス、焦点検出用撮像素子３３側に結像するときをマイナスとして、焦点ズレ量に符号を付与する。本実施の形態においては、被写体光Ｌ２の結像位置と基準焦点検出面３ａとの間の距離に上記の符号を付与したものをデフォーカス量と呼ぶ。なお、本実施の形態においては、基準焦点検出面３ａがマイクロレンズアレイ３２の各マイクロレンズ３２１の前側（被写体側）の主面にほぼ一致するように、焦点検出用対物レンズ３１とマイクロレンズアレイ３２とのｚ軸方向の位置が決定されている。

続いて、図５を参照して、本実施の形態によるデジタルカメラ１の焦点検出方法について説明する。図５は、ｘｚ平面において、図３に示すマイクロレンズアレイ３２と焦点検出用撮像素子３３との位置関係を示す概念図である。なお、以下の説明においては、１つのマイクロレンズ３２１と、そのマイクロレンズ３２１に対応して設けられた画素アレイ３７とを１つの画素ＰＩと呼ぶ。図５においては、１つの画素ＰＩは１つのマイクロレンズ３２１と５つの光電変換素子３６とによって構成される。ここで、それぞれの光電変換素子３６は、オンチップレンズ等の集光用のマイクロレンズを備えるものであってもよい。

画素アレイ３７の各光電変換素子３６は、マイクロレンズ３２１によって、マイクロレンズ３２１よりも僅かに被写体側の受光部像結像面３ｂに結像するように、マイクロレンズ３２１と焦点検出用撮像素子３３とのｚ軸方向の位置が決定されている。原理的には、焦点検出用撮像素子３３と焦点検出用対物レンズ３１の射出瞳とが共役であるのが良いが、この共役関係が多少崩れても、マイクロレンズ３２１のレンズ径が小さいので、深度が深く影響は小さい。そして、本実施の形態のデジタルカメラ１の測距部４２は、焦点検出用対物レンズ３１の瞳の異なる領域を通過した被写体光による像同士の位置ズレによりデフォーカス量を算出する位相差方式を用いた、特開２００７−３１６５２１号公報等で公知のマイクロレンズ式の焦点検出を行う。

測距部４２は、位相差方式として、たとえば連続する各画素ＰＩの端からｎ番目の光電変換素子３６からの画像信号により形成される像と、ｎ＋ｍ番目の光電変換素子３６からの画像信号により形成される像とのズレに基づいてデフォーカス量を算出する。すなわち、測距部４２は、図５に示すように、たとえば、各画素アレイ３７のｘ軸方向に原点から２番目の光電変換素子３６ａから出力された画像信号を１つの信号列Ａとして扱う。さらに、測距部４２は、各画素アレイ３７のｘ軸方向に原点から４番目の光電変換素子３６ｂから出力された画像信号を１つの信号列Ｂとして扱う。この場合、信号列Ａの像は受光部像結像面３ｂ上の被写体像Ａ’に相当し、信号列Ｂの像は受光部像結像面３ｂ上の被写体像Ｂ’に相当する。これら被写体像Ａ’とＢ’とは焦点検出用対物レンズ３１の瞳の互いに異なる領域を透過した光束による像なので、測距部４２は、この信号列Ａと信号列Ｂとの像ズレを算出することによりデフォーカス量を得る。

なお、測距部４２は、特開２００８−１１６６１６号公報等で公知の方式を用いてデフォーカス量を算出するものとして、たとえば隣接した複数の光電変換素子３６から出力された画像信号を合成して、１つの画像信号として扱うようにしてもよい。この場合、たとえば、図６に示すように、測距部４２は、各画素アレイ３７のｘ軸方向に原点から１番目および２番目の光電変換素子３６ａおよび３６ｂから出力された画像信号を１つの信号列Ａとして扱う。そして、測距部４２は、各画素アレイ３７のｘ軸方向に原点から４番目および５番目の光電変換素子３６ｃおよび３６ｄから出力された画像信号を１つの信号列Ｂとして扱う。そして、測距部４２は、信号列Ａと信号列Ｂとの像ズレ量を算出すればよい。なお、上記の説明では、ｘｚ平面における信号列Ａ、Ｂの抽出（サンプリング）を示したが、焦点検出用撮像素子３３はｘｙ平面上に二次元配列されているので、測距部４１はｙｚ平面についても同様にして信号列の抽出を行う。

以下、デフォーカス量の算出処理について詳細に説明する。
上述のようにして光電変換素子３６から出力された画像信号は、第２映像回路３５によりＡ／Ｄ変換されて図示しないメモリに格納される。そして、測距部４２は、メモリに格納された画像信号を読み出して、第１信号列Ａ＝｛ａ（ｉ）｝＝ａ（１），ａ（２），ａ（３），・・・と、第２信号列Ｂ＝｛ｂ（ｉ）｝＝ｂ（１），ｂ（２），ｂ（３），・・・とを生成する。上述した通り、第１信号列｛ａ（ｉ）｝および第２信号列｛ｂ（ｉ）｝は連続した画素ＰＩから抽出した光電変換素子３６からの画像信号を連ねたものである。

測距部４２は、第１信号列｛ａ（ｉ）｝と第２信号列｛ｂ（ｉ）｝とに対して、公知の方法を用いて像ズレ演算を行う。すなわち、測距部４２は、第１信号列｛ａ（ｉ）｝と第２信号列｛ｂ（ｉ）｝（なお、ｉ＝１，２，・・・）とから、一対の像（信号列）の相関量Ｃ（Ｎ）を以下の式（１）を用いて算出する。
；ｊ−ｉ＝Ｎ …（１）
ここで、ｊ−ｉ＝Ｎで示すＮはシフト数を示す。Σはｉに関する所定範囲ｐＬからｑＬまでの総和を示す。なお、ｐＬとｑＬについては後述する。

測距部４２は、上記の式（１）により離散的な値として算出された相関量Ｃ（Ｎ）からシフト量を算出する。そのため、測距部４２は、相関量Ｃ（Ｎ）のうち、シフト量Ｎ＝Ｎ０のときに極小値を与える相関量をＣ０とし、シフト量Ｎ＝（Ｎ０−１）のときの相関量をＣｒ、シフト量Ｎ＝（Ｎ０＋１）のときの相関量をＣｆとする。そして、測距部４２は、３つの相関量Ｃｒ、Ｃ０、Ｃｆから精密なシフト量Ｎａを以下の式（２）を用いて算出する。
ＤＬ＝０．５×（Ｃｒ−Ｃｆ）
Ｅ＝ＭＡＸ｛Ｃｆ−Ｃ０，Ｃｒ−Ｃ０｝
Ｎａ＝Ｎ０＋ＤＬ／Ｅ …（２）

測距部４２は、上記の式（２）で算出されたシフト量Ｎａに、焦点検出面の位置に応じた補正量（定数ｃｏｎｓｔ）を加えて、式（３）に示す焦点検出面上での像ズレ量Δｎを算出する。
Δｎ＝Ｎａ＋ｃｏｎｓｔ …（３）

そして、測距部４２は、検出開角に依存した定数Ｋｆを用いて、以下の式（４）により焦点検出のデフォーカス量Ｄｆを算出する。
Ｄｆ＝Ｋｆ×Δｎ …（４）

測距部４２は、上述のようにして算出したシフト量Ｎａが信頼性のある値であるか否かを、公知の方法を用いて判定し、信頼性が低いと判定した場合には検出不能とする結果を制御部４１へ出力する。測距部４２は、たとえば上記の式（２）で得られる値Ｅが所定値よりも低い場合、またはＣｅｘ／Ｅの値が所定値より大きい場合に信頼性が低いと判定する。なお、Ｃｅｘは以下の式（５）により算出される値である。以後の説明においては、値ＥとＣｅｘ／Ｅとを信頼性パラメータと呼ぶ。
Ｃｅｘ＝Ｃ０−｜ＤＬ｜ …（５）

次に、上記の式（１）にて用いたｐＬ、ｑＬについて説明する。
図５に示すように、ｘ軸方向に一列に並んで配列された複数の光電変換素子３６のうち、所定のサンプリング範囲の両端に対応して配列された光電変換素子３６からの出力を、ａ（ｐＬ０），ａ（ｑＬ０）ならびにｂ（ｐＬ０），ｂ（ｑＬ０）とする。すなわちｐＬ０、ｑＬ０はサンプリング範囲に応じて決定される。このとき、Ｎ＝０の場合には、ｐＬ＝ｐＬ０，ｑＬ＝ｑＬ０となる。

また、Ｎが０ではない場合も含め、公知の方式を用いて、以下の式（６）によりｐＬ、ｑＬが決定される。
ｐＬ＝ｐＬ０−Floor（Ｎ／２）
ｑＬ＝ｑＬ０−Floor（Ｎ／２） …（６）
ただし、関数Floorはいわゆる床関数であり、Floor（ｘ）はｘ以下の最大の整数を表す。
なお、信号列Ａを固定する方式（Ａ列固定方式）を用いる場合には、ｐＬおよびｑＬは、ｐＬ＝ｐＬ０，ｑＬ＝ｑＬ０に固定される。

また、上述したサンプリング範囲は、焦点検出の対象となる被写体の像が結像する範囲に基づいて決定される。換言すると、焦点検出用対物レンズ３１によってマイクロレンズアレイ３２の前側（被写体側）主面に形成される被写体の像またはボケた像の芯がサンプリング範囲内の光電変換素子３６に位置する場合に、この被写体のデフォーカス量が上記の式（４）により算出される。なお、マイクロレンズアレイ３２の前側主面とは、各マイクロレンズ３２１の曲面の頂点を含む面を示す。

続いて、本実施の形態によるデジタルカメラ１の全体動作について説明する。本実施の形態のデジタルカメラ１は、撮影レンズ２２の光軸と焦点検出用対物レンズ３２の光軸との間に視差があるため、この視差の影響を除去して正確な焦点検出結果を得るための処理を行う。そのため、デジタルカメラ１が行う焦点検出のための処理を中心に説明する。

図７は、液晶ディスプレイ１５に表示されたスルー画を示す。なお、スルー画は、撮影用撮像素子２１から出力された画像信号を用いて、第１映像回路２６により生成された画像データに対応する画像である。図７に示すように、スルー画上に焦点検出エリアを示す枠９０が制御部４２によって重畳して表示される。なお、本実施の形態においては、撮影用レンズ群２２により形成される撮影画面上に設定された複数（たとえば５４個）の焦点検出エリアに対応して５４個の枠９０_１〜９０_５４が液晶ディスプレイ１５に表示される。ユーザは、液晶ディスプレイ１５に表示されたスルー画を観察しながら、操作部４４を操作して枠９０_１〜９０_５４の何れかを選択することにより、予め設定されている複数の焦点検出エリアのうち所望の焦点検出エリアを選択する。

ユーザにより所望の焦点検出エリアに対応する枠９０の選択操作に応じて、操作部４４から操作信号が出力されると、制御部４２はユーザにより選択された枠９０に対応する焦点検出エリアの情報を図示しないメモリに一時的に格納する。なお、メモリに格納される検出エリアの情報として、選択された焦点検出エリアが撮影用撮像素子２１で占有する位置等がある。

ユーザによるレリーズボタンの半押し操作に応じて、操作部４４から操作信号が出力されると、制御部４２は、撮影準備処理を開始する。すなわち制御部４２は、メモリに格納された焦点検出エリアに対して、焦点検出処理を開始する。この場合、制御部４２は、焦点検出用撮像画素３３のうち、メモリに格納された焦点検出エリアと対応した位置に配置された光電変換素子３６からの画像信号を用いて焦点検出演算を行うように測距部４１へ指令する。

図８は、マイクロレンズアレイ３２をｚ軸方向被写体側から見た平面図である。図８において示す十字形の指標は、図７に示す各枠９０_０１〜９０_５４のそれぞれに対応する位置の中心である基準中心位置６０_０１〜６０_５４（代表して示す場合は、符号６０を付与する）を表している。ただし、図８に示す各基準中心位置６０は、各焦点検出エリアの被写体が仮に無限遠に存在する場合に、その被写体の像が結像する位置として定義する。

上述したように、デジタルカメラ１は、撮影レンズ２２の光軸と焦点検出用対物レンズ３２の光軸との間に視差がある。図９は、ｘｚ平面上において、焦点検出エリアと、焦点検出用撮像素子３３におけるサンプリング範囲との関係を示している。図９では、ユーザにより焦点検出エリアＲｅが選択された場合、被写体距離Ｌｎ（焦点検出範囲の近距離側の限界）に対応するサンプリング範囲をＲｓ２で示している。さらに、ユーザにより焦点検出エリアＲｅが選択された場合に、被写体距離Ｌｋに対応するサンプリング範囲をＲｓ１で示している。すなわち、被写体が距離Ｌｎ〜Ｌｋの範囲に存在する場合、焦点検出用撮像素子３３上でのサンプリング範囲Ｒｓ３がユーザにより選択された焦点検出エリアＲｅに対応することになる。

以下の説明においては、図７に示す枠９０のうち、符号９０_１２で示す枠に対応する焦点検出エリアがユーザによって選択されたものとする。また、図８においては、上記の枠９０_１２に対応する焦点検出エリアの被写体が無限遠に存在する場合に、その被写体が焦点検出用撮像素子３３上で結像する範囲を太線の矩形５１２−０で示す。そして、図１０に、この矩形５１２−０とその近傍を拡大して示す。

図１０においては、図９に示す被写体距離Ｌｎ、すなわち焦点検出範囲の近距離側の限界に存在する被写体が焦点検出用撮像素子３３上で結像する範囲を矩形５１２−２７で示す。また、矩形５１２−ｋは、矩形５１２−０の位置からｘ軸方向にマイクロレンズ３２１でｋ個分ずれた位置を示す。換言すると、被写体が距離Ｌｎ〜Ｌｋの範囲に存在する場合、その被写体は矩形５１２−ｋのいずれかの範囲に結像する。したがって、枠９０_１２に対応する焦点検出エリアがユーザにより選択されると、制御部４２は測距部４１に指令して、上記の矩形５１２−ｋのうち、たとえばｋ＝１からｋ＝２７までの２７個の範囲のそれぞれについて、順次デフォーカス量を算出させる。図１０に示すように、ｋ＝１〜２７までの矩形５１２−ｋで規定される範囲を、選択された焦点検出エリアに対応した基準範囲５００とする。図１０に示すように、基準範囲５００には、マイクロレンズ３２１がｙ軸方向に１２個、ｘ軸方向に３９個含まれる。なお、図１０においては、説明の都合上、それぞれの矩形５１２−ｋの形状（大きさ）を異ならせて描いているが、実際には同一の大きさである。

図１０に示すように、矩形５１２−ｋの範囲には、ｘ軸方向に配列された１２行の画素行と、ｙ軸方向に配列された１２列の画素列とが含まれる。すなわち、１つの画素行は１２個の画素ＰＩにより構成され、１つの画素列は１２個の画素ＰＩにより構成される。換言すると、ｘ軸方向のサンプリング範囲は、ｘ軸方向に配列された１２個の画素ＰＩにより規定され、ｙ軸方向のサンプリング範囲は、ｙ軸方向に配列された１２個の画素ＰＩにより規定される。なお、図１０に示す矩形５１２−ｋの範囲に含まれる画素行および画素列の数は一例であり、１２行または１２列に限定されるものではない。

まず、測距部４１は、矩形５１２−ｋの範囲のうち、１２行の画素行のそれぞれについて、各画素行を構成する画素ＰＩから出力された画像信号を用いて、上述したデフォーカス量を算出する。なお、上記の式（１）のＮの値を−２から＋２までとすると、測距部４１はサンプリング範囲に含まれる画素ＰＩからの画像信号に加えて、演算方向（すなわち、ｘ軸方向）に沿ってサンプリング範囲の両端に配置される２つの画素ＰＩから出力される画像信号をも用いてデフォーカス量を算出する。その結果、測距部４１は、矩形５１２−ｋの範囲内で、ｘ軸方向の位相差について１２個のデフォーカス量を算出する。

さらに、測距部４１は、ｙ軸方向の位相差についても同様にして１２列の画素列の各画素列についてデフォーカス量を算出する。なお、上記の式（１）のＮの値を−２から＋２までとすると、測距部４１はサンプリング範囲に含まれる画素ＰＩからの画像信号に加えて、演算方向（すなわち、ｙ軸方向）に沿ってサンプリング範囲の両端に配置される２つの画素ＰＩから出力される画像信号をも用いてデフォーカス量を算出する。その結果、測距部４１は、矩形５１２−ｋの範囲内で、ｙ軸方向について１２個のデフォーカス量を算出する。

測距部４１は、上述したようにｘ軸方向について１２個、ｙ軸方向について１２個の計１４４個のデフォーカス量を算出すると、上述した信頼性パラメータを用いて各デフォーカス量の信頼性の有無を判定する。そして、測距部４１は、１４４個のデフォーカス量のうち信頼性が有ると判定したデフォーカス量を所定のアルゴリズム（たとえば単純平均値を算出）に従って合成平均し、その値を矩形５１２−ｋに対応するデフォーカス量とする。なお、上記の所定のアルゴリズムとして、たとえば信頼性に重み付けをして平均値を算出してもよいし、最小のデフォーカス量を算出してもよい。

測距部４１は、矩形５１２−１〜５１２−２７のそれぞれについてデフォーカス量を算出すると、それぞれのデフォーカス量が、被写体の像が結像すると想定される範囲に対応する値であるか否かを判定する。このとき、測距部４１は、ｋの値と、被写体距離と、デフォーカス量とを関連付けたルックアップテーブルを用いる。このルックアップテーブルは予め所定の記憶領域に記録されており、このルックアップテーブルが示すデフォーカス量は、ｋの値に応じて、撮影用レンズ群２２と焦点検出用対物レンズ３１との視差に基づいて被写体距離を換算した値である。

図１１にルックアップテーブルの一例を示す。なお、図１１において、デフォーカス量の下限に対応する被写体距離は、焦点検出用対物レンズ３１より１３０ｍｍ前方（被写体側）を原点とした距離である。また、ｋ＝１の時のデフォーカス量の上限は約０．２９ｍｍであり、このデフォーカス量に対応する被写体距離は無限遠となる。このルックアップテーブルにおいては、たとえば以下の各種の数値を前提としている。
（１）撮影レンズ２２の光軸と焦点検出用対物レンズ３１の光軸との間隔：３０ｍｍ
（２）焦点検出用対物レンズ３１の焦点距離：６ｍｍ
（３）焦点検出用対物レンズ３１の後側（観察側）主面と焦点検出用撮像素子３３の受光面との光学的間隔：６．３ｍｍ
（４）ＡＦユニット２の有効最短距離：焦点検出用対物レンズ３１から前側約１３０ｍｍ
（５）マイクロレンズ３２１の配列ピッチ：ｘ軸およびｙ軸方向にそれぞれ０．０５４ｍｍ

たとえば枠５１２−２、すなわちｋ＝２に対応するデフォーカス量が０．２７６と算出されたとする。この場合、測距部４１は、算出したデフォーカス量がルックアップテーブルのｋ＝２に対応するデフォーカス量の下限（０．２７０）とｋ＝１に対応するデフォーカス量の下限（０．２８０）との間に含まれるか否かを判定する。上記のようにｋ＝２に対応するデフォーカス量が０．２７６なので、算出されたｋ＝２の場合のデフォーカス量は、ｋ＝２に対応するデフォーカス量の下限とｋ＝１に対応するデフォーカス量の下限との間に含まれる。この場合、測距部４１は、算出されたｋ＝２の場合のデフォーカス量は、被写体の像が結像すると想定される範囲に対応する値であると判定する。そして、測距部４１は、このときのデフォーカス量を採用して、選択された焦点検出エリアに対応する検出デフォーカス量とする。２７個のデフォーカス量のうち採用可能なデフォーカス量が複数存在する場合には、測距部４１は、たとえば最小のデフォーカス量を選択（至近優先）して、検出デフォーカス量とする。なお、至近優先を用いるものに代えて、測距部４１は所定のアルゴリズムを用いて採用可能なデフォーカス量を選択もしくは合成して、検出デフォーカス量としてもよい。

また、たとえばｋ＝２に対応するデフォーカス量が０．２６５と算出されたとする。このとき、算出されたｋ＝２の場合のデフォーカス量は、ｋ＝２に対応するデフォーカス量の下限とｋ＝１に対応するデフォーカス量の下限との間に含まれない。この場合は、測距部４１は、算出されたｋ＝２の場合のデフォーカス量は、被写体の像が結像すると想定される範囲に対応する値ではないと判定する。そして、測距部４１は、このときのデフォーカス量を不採用とする。ｋ＝１〜２７の全てのデフォーカス量が不採用の場合、測距部４１は焦点検出不能と判定する。

たとえば、図９に示すように、ユーザが選択した焦点検出エリアとは異なる場所に位置する被写体Ｑの像は、焦点検出用撮像素子３３のサンプリング範囲Ｒｓ１に結像する。しかし、被写体Ｑに対応して測距部４１により算出されたデフォーカス量は、ルックアップテーブルに記録されたデフォーカス量の範囲に含まれない。そのため、測距部４１は、被写体Ｑに対して算出したデフォーカス量を検出デフォーカス量として採用しないので、ユーザが所望しない被写体に対して焦点検出を行うことを防ぐことができる。

上述のようにして、ユーザにより選択された焦点検出エリアに応じた検出デフォーカス量が選択されると、制御部４２は焦点調節のための撮影レンズ群２２の駆動量を算出する。そして、制御部４２は、レンズ駆動装置２４に指令して、撮影レンズ群２２を算出した駆動量に応じて光軸方向に駆動させて焦点調節を行う。ユーザによるレリーズボタンの全押し操作に応じて、操作部４４から操作信号が出力されると、制御部４２は、撮影処理を開始する。すなわち制御部４２は、撮影用撮像素子２１から画像信号を出力させ、第１映像回路２６に画像データを生成させる。そして、制御部４２は、記録／表示装置４５に生成された画像データに対してＪＰＥＧ圧縮処理を施させて、ＥＸＩＦなどの形式でメモリカード４５ａへ記録させる。

以上で説明した実施の形態のデジタルカメラ１によれば、以下の作用効果が得られる。
（１）撮影用撮像素子２１は、撮影用レンズ群２２を介して被写体の像を撮像する。ＡＦユニット３は、焦点検出用対物レンズ３１と、マイクロレンズ３２１と、焦点検出用撮像素子３３とを有する。焦点検出用対物レンズ３１は、撮影用レンズ群２２の光軸と交わるｘｙ平面上で、撮影用レンズ群２２の光軸からｘ軸方向にずらした位置に配置（並置）される。複数のマイクロレンズ３２１は、焦点検出用対物レンズ３１の背後に二次元状に配列される。焦点検出用撮像素子３３には、焦点検出用対物レンズ３１の射出瞳の複数の異なる部分領域を通過した被写体からの光束のそれぞれを、マイクロレンズ３２１を介して受光して画像信号を出力する複数の光電変換素子３６を含む複数の画素アレイ３７が、マイクロレンズ３２１にそれぞれ対応して二次元状に配置されている。そして、測距部４１は、焦点検出用撮像素子３３から出力された画像信号に基づいて、撮影画面上に設けられた焦点検出エリアに対応した被写体に対する焦点検出演算を行い、焦点検出演算の結果に基づいて、撮影用レンズ群２２の焦点調節を行うようにした。したがって、撮影用撮像素子２１と焦点検出用撮像素子３３との画角や画素数の相違をソフト的に補正する際に生じる補正誤差等により焦点検出精度が低下することを防ぐことができる。

（２）測距部４１は、焦点検出用撮像素子３３が射出瞳のある部分領域を通過した光束を受光して出力した信号列Ａと、射出瞳の異なる部分領域を通過した光束を受光して出力した信号列Ｂとを比較して焦点検出演算を行う。この場合、測距部４１は、射出瞳のある部分領域と異なる部分領域とが配列された方向がｘ軸方向とは異なる、すなわちｙ軸方向についても焦点検出演算を行うようにした。したがって、ｘ軸方向にコントラストを有していない被写体に対しても焦点検出を行うことができる。

（３）測距部４１は、焦点検出エリアに対応して焦点検出用撮像素子３３上に設定された基準範囲５００の中で、複数の演算範囲である矩形５１２−ｋのそれぞれを所定の変位量ｋずつずれた位置に設定する。測距部４１は、複数の矩形５１２−ｋに含まれる複数の光電変換素子３６から出力された画像信号を用いて、複数の矩形５１２−ｋのそれぞれに対して焦点検出演算を行う。そして、測距部４１は、複数の演算結果のうち所定値の範囲内に含まれていない演算結果を無効と判定するようにした。この所定値の範囲は、変位量ｋに応じて予め決定された上限値と、下限値との間に含まれる値であり、上限値および下限値は、変位量ｋに応じて算出された、撮影用レンズ群２２と焦点検出用対物レンズ３１とのｘ軸方向への視差に基づいて決定されている。したがって、撮影用レンズ群２２と焦点検出用対物レンズ３１との間に視差がある場合であっても、ユーザが所望する被写体に対して焦点検出を行うことができる。

上述した実施の形態のデジタルカメラ１を、以下のように変形できる。
（１）測距部４１は、全ての矩形５１２−ｋについてデフォーカス量が算出されてから採用可能か否かを判定するものに代えて、各矩形５１２−ｋについてデフォーカス量が算出されるごとに、そのデフォーカス量が採用可能か否かを判定するようにしてもよい。この場合、測距部４１は、採用可能なデフォーカス量が算出された時点でそのデフォーカス量を検出デフォーカス量として採用し、まだデフォーカス量を算出していない矩形５１２−ｋについては、デフォーカス量の算出を行わないようにする。その結果、検出デフォーカス量の演算によるする処理を軽減し、演算にようする時間を短縮できる。

上記の場合に、近距離被写体を優先して焦点検出を行う場合には、測距部４１は、まず、ｋの値が最大の矩形５１２−ｋのデフォーカス量を算出し、順次、ｋの値が小さくなる枠５１２−ｋのデフォーカス量を算出すればよい。また、遠距離被写体を優先して焦点検出を行う場合には、測距部４１は、ｋの値が最小（ｋ＝１）の矩形５１２−ｋのデフォーカス量を算出し、順次、ｋの値が大きくなる矩形５１２−ｋのデフォーカス量を算出すればよい。図１１にも示すように、ｋの値が大きいほど焦点検出が可能となる被写体のデジタルカメラ１からの距離範囲が狭くなるので、ｋの値が小さい値に対応する矩形５１２−ｋからデフォーカス量を算出した場合には、測距部４１による演算時間を短縮できる可能性が高い。

（２）測距部４１は、焦点検出用撮像素子３３から出力された画像信号に加えて、撮影用撮像素子２１から出力された画像信号を用いるようにしてもよい。この場合、まず、測距部４１は、焦点検出用撮像素子３３から出力された画像信号を用いて、１つの画像データを生成する。すなわち、測距部４１は、各マイクロレンズ３２１の光軸に対応して配置された１つの光電変換素子３６（または相対的位置関係が共通な特定の光電変換素子）のそれぞれから出力された画像信号を用いて画像データを生成する。このときに測距部４１により生成された画像データは、焦点検出用撮像素子３３を構成する全ての光電変換素子３６から出力された画像信号を用いて画像データを生成する場合に比べて、焦点深度が深い縮小画像データとなる。以後、ＡＦ系縮小画像データを呼ぶ。測距部４１は、ユーザにより選択された焦点検出エリアに対応した焦点検出用撮像素子３３上の範囲、すなわち図１０に示す基準範囲５００に対応するＡＦ系縮小画像データを生成する。

次に、測距部４１は、撮影用撮像素子２１から出力された画像信号を用いて、倍率や濃度等を補正した縮小画像データ（以後、撮像系縮小画像データ）を生成する。この場合、測距部４１は、ユーザにより選択された焦点検出エリアに対応して撮影用撮像素子２１上に配置された光電変換素子から出力された画像信号を用いて、撮像系縮小画像データを生成する。このとき生成された撮像系縮小画像データは、図１０の矩形５１２−ｋで規定される範囲に対応することになる。

測距部４１は、公知の相関演算を用いて、生成したＡＦ系縮小画像データと撮像系縮小画像データとの比較を行い、両者の画像データの一致度が最も高い場合のｋの値を検出する。そして、測距部４１は、検出したｋの値と、その近傍のｋの値（たとえば±２）に対応する矩形５１２−ｋに対して、実施の形態と同様にしてデフォーカス量を算出し、検出デフォーカス量を採用する。

（３）測距部４１は、式（１）を用いて相関量Ｃ（Ｎ）を算出する場合のＮの範囲について、ｋの値に応じて採用する検出デフォーカス量から像ズレ量を逆算し、その像ズレ量に相当するＮａに最も近い整数Ｎｓを中心とした範囲としてもよい。たとえば、像ズレ量に相当する画素数に対するデフォーカス量の比率を４５０μｍ／画素とすると、図１１より、ｋ＝８〜２７の場合は、Ｎ＝０を中心とした−２から＋２の範囲とすればよく、ｋ＝１〜７の場合は、Ｎ＝１を中心とした−１から＋３までの範囲とすればよい。この結果、デフォーカス量の演算効率を向上させることができる。

（４）測距部４１は、上記の説明で用いた画素ＰＩを、たとえば特開２００９−１７５６８０で公知の方法を応用して仮想画素に置き換えるなど、各種ソフトウェアによる公知の方法による補正で精度を向上させるとよい。

（５）マイクロレンズ３２１はｘ軸方向ｙ軸方向に格子状に配列されるものに限定されない。たとえば、ｘ軸方向に一列に配列されたマイクロレンズ３２１の中心位置が、ｙ軸方向に１列ずれてｘ軸方向に一列に配列された隣り合うマイクロレンズ３２１の中心同士の中点に位置するように配列された、いわゆる千鳥状配列としてもよい。この場合、測距部４１は、ｙ軸方向に隣り合うマイクロレンズ３２１に対応して配列された光電変換素子からの画像信号を補間して、仮想画像信号を生成すればよい。この結果、実施の形態のマイクロレンズ３２１と同一の径を有するマイクロレンズ３２１を用いたとしても、より密な画素ピッチを得ることができる。

（６）デジタルカメラ１と被写体とが極端に接近している場合には、測距部４１は、撮影用撮像素子２１から出力された画像信号を用いて、公知のコントラスト方式により焦点検出を行うようにしてもよい。これは、デジタルカメラ１と被写体との距離が接近している場合には、視差によりＡＦユニット３によって所望の被写体像を捉えることができず、測距部４１による焦点検出ができなくなるためである。また、上記の場合以外に、たとえば被写体の輝度パターン等に応じて、測距部４１はコントラスト方式を用いるようにしてもよい。

（７）測距部４１は、コントラスト方式を用いて検出した焦点検出結果を用いて、焦点検出用撮像素子３３から出力された画像信号を用いて算出したデフォーカス量の精度を判定したり、補正パラメータを算出し所定の記録領域に記録してもよい。この結果、以後の焦点検出精度を向上させることができる。

（８）撮影光学系２は、ズームレンズ等の焦点距離が可変に構成されていてもよい。この場合、焦点検出用対物レンズ３１は、距離測定が可能な焦点距離範囲のうち最短の焦点距離に対応した画像範囲を、焦点検出用撮像素子３３によって検出可能となるように設定すればよい。

（９）第２映像回路３５は、焦点検出用撮像素子３１から出力された画像信号を用いて、撮像画像データを生成してもよい。すなわち、焦点検出用撮像素子３１の光電変換素子３６がｘｙ平面に二次元配列されているので、焦点検出用撮像素子３１から出力された画像信号を焦点検出にのみ用いるものでなくてもよい。この場合、記録／表示装置４５は、撮影用撮像素子２１からの出力を用いて生成された撮像画像データと、焦点検出用撮像素子３１からの出力を用いて生成された撮像画像データとにより、撮影レンズ群２２と焦点検出用対物レンズ３１との視差に応じた、いわゆるステレオ画像を生成することができる。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

３ ＡＦユニット、 ２１ 撮影用撮像素子、
３１ 焦点検出用対物レンズ、 ３２ マイクロレンズアレイ、
３３ 焦点検出用撮像素子、 ３６ 光電変換素子、
４１ 測距部、 ４２ 制御部、
３２１ マイクロレンズ

Claims (6)

1. 第１結像光学系を介して被写体の像を撮像する第１撮像素子と、
   前記第１結像光学系に並置された第２結像光学系と、
   前記第２結像光学系の背後に二次元状に配列された複数のマイクロレンズと、
   前記第２結像光学系および前記マイクロレンズを介して前記被写体からの光束を受光して画像信号を出力する複数の光電変換素子を含む複数の素子群が、前記マイクロレンズにそれぞれ対応して二次元状に配置された第２撮像素子と、
   前記画像信号に基づいて、撮影画面上に設けられた焦点検出領域に対応した前記被写体に対する焦点検出演算を行う演算手段と、
   前記演算手段による前記焦点検出演算の結果に基づいて、前記第１結像光学系の焦点調節を行う調節手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記第２撮像素子は、前記第２結像光学系の射出瞳の複数の異なる部分領域のうち第１部分領域を通過した光束を受光して第１画像信号を出力し、前記第１部分領域とは異なる第２部分領域を通過した光束を受光して第２画像信号を出力し、
   前記演算手段は、前記第１画像信号と、前記第２画像信号とを比較して前記焦点検出演算を行い、
   前記第１部分領域と前記第２部分領域とが配列された方向が、前記第２結像光学系が前記第１結像光学系に対して並置された方向とは異なることを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記演算手段は、前記焦点検出領域に対応して前記第２撮像素子上に基準範囲を設定し、前記設定した基準範囲の中で、複数の演算範囲のそれぞれを所定の変位量ずつずれた位置に設定し、前記複数の演算範囲に含まれる前記複数の光電変換素子から出力された前記画像信号を用いて、前記複数の演算範囲のそれぞれに対応して焦点検出演算を行い、複数の演算結果のうち所定値の範囲内に含まれていない演算結果を無効と判定することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記所定値の範囲は、前記変位量に応じて予め決定された上限値と、下限値との間に含まれる値であることを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記上限値および下限値は、前記変位量に応じて算出された、前記第１結像光学系と前記第２結像光学系との間の視差に基づいて決定されることを特徴とする撮像装置。
6. 請求項１乃至５のいずれか一項に記載された撮像装置において、
   前記撮影画面上に設けられた複数の前記焦点検出領域のうち少なくとも一つの焦点検出領域を選択するための選択操作を受け付ける受付手段を備え、
   前記演算手段は、前記選択操作により選択された前記焦点検出領域に対応した前記被写体に対して前記焦点検出演算を行うことを特徴とする撮像装置。