JP2010191883A - 撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】１回の撮像データに基づいて所望の被写体に対してピントが合った画像を容易に得ること。
【解決手段】撮像装置は、複数のマイクロレンズを配列したマイクロレンズアレイ７と、複数のマイクロレンズに対して複数の受光素子を有し、光学系１ａからの光束をマイクロレンズアレイ７を介して受光して複数の受光信号を出力する受光素子アレイ６と、複数のマイクロレンズのそれぞれに対応して出力される複数の受光信号のうちの一部の第１受光信号に基づいて第１画像を生成する画像生成手段１７と、第１画像から特定の対象の像を選択する選択手段９と、第１画像のうちの特定の対象の像の位置に対して、受光信号を得た際の光学系１ａによる像面のずれ量を検出するずれ量検出手段１１と、複数のマイクロレンズのそれぞれに対応して出力される複数の受光信号のうち、検出されたずれ量に基づいて選択した第２受光信号に基づいて第２画像を合成する画像合成手段１７と、を備える。
【選択図】図１

Description

本発明は、撮像装置、画像処理プログラムに関する。

１回の撮影で得られたデータから撮影後に任意の距離の被写体にピントの合った像面の画像を合成する画像合成技術が本願出願人によって出願されている（特許文献１参照）。

特開２００７−４４７１号公報

上記技術を撮像装置として具体的にどのように適用するかについては提案されていなかった。

本発明による撮像装置は、複数のマイクロレンズを配列したマイクロレンズアレイと、複数のマイクロレンズに対して複数の受光素子を有し、光学系からの光束をマイクロレンズアレイを介して受光して複数の受光信号を出力する受光素子アレイと、複数のマイクロレンズのそれぞれに対応して出力される複数の受光信号のうちの一部の第１受光信号に基づいて第１画像を生成する画像生成手段と、第１画像から特定の対象の像を選択する選択手段と、第１画像のうちの特定の対象の像の位置に対して、受光信号を得た際の光学系による像面のずれ量を検出するずれ量検出手段と、複数のマイクロレンズのそれぞれに対応して出力される複数の受光信号のうち、検出されたずれ量に基づいて選択した第２受光信号に基づいて第２画像を合成する画像合成手段と、を備えることを特徴とする。

本発明によれば、１回の撮像データに基づいて所望の被写体に対してピントが合った画像を容易に得ることができる。

本発明の一実施の形態によるデジタルカメラの要部構成を示すブロック図である。 撮像素子の撮像面を見た図である。 図２の一部分を拡大した図である。 デフォーカス量の検出方法を説明する図である。 デフォーカス量の検出方法を説明する図である。 （ａ）レンズ光学系による像面のずれ量がｈである像面ｐａにピントが合う撮像画像の合成方法を説明する図、（ｂ）レンズ光学系による像面のずれ量が０である像面ｐｂにピントが合う撮像画像の合成方法を説明する図である。 制御装置により実行される処理の流れを説明するフローチャートである。 変形例１の場合のフローチャートである。 プログラムを実行させるコンピュータを例示する図である。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラの要部構成を示すブロック図である。一眼レフタイプのデジタルカメラは、デジタルカメラボディにレンズ鏡筒が交換可能に装着されている。レンズ鏡筒には、撮影光学系１ａと、絞り１ｂと、レンズ駆動用モータ１４とが設けられている。撮影光学系１ａは、被写体像を結像面に結像させるための光学系であり、焦点調節レンズを含む複数のレンズによって構成される。焦点調節レンズは、レンズ駆動用モータ１４の動作により光軸方向に進退移動する。絞り１ｂは、撮影光学系１ａを通過する光束を制限する。

デジタルカメラボディの内部には、ハーフミラー２と、ファインダースクリーン３と、ペンタプリズム４と、接眼レンズ５と、マイクロレンズアレイ７および受光素子を有する撮像素子６と、センサ制御部８と、被写体認識部９と、焦点検出領域設定部１０と、焦点検出演算部１１と、レンズ駆動量演算部１２と、レンズ駆動制御部１３と、測光用レンズ１５と、測光センサ１６と、画像生成部１７と、制御装置１８と、バッファメモリ１８Ｍとが設けられている。

また、デジタルカメラボディの背面には表示部１９が設けられている。なお、センサ制御部８、被写体認識部９、焦点検出領域設定部１０、焦点検出演算部１１、レンズ駆動量演算部１２、レンズ駆動制御部１３、バッファメモリ１８Ｍおよび画像生成部１７は、制御装置１８の機能により実現される。

撮像素子６は、マイクロレンズアレイ７を介して撮影光学系１ａからの光束を受光する複数の受光素子（光電変換素子）を有する受光素子アレイであり、たとえばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等で構成される。撮像素子６の撮像面にはさらに、赤（Ｒ）、緑（Ｇ）および青（Ｂ）のいずれかの光を通過させるカラーフィルタ（不図示）が所定の配列パターンで設けられている。撮像素子６は、撮影光学系１ａおよび絞り１ｂを通過した光束を上記マイクロレンズアレイ７およびカラーフィルタを介して各受光素子において受光することで、撮影光学系１ａによって結像される被写体像を撮像して得られた受光信号を光束の色情報や輝度情報として出力する。

撮像素子６から出力された受光信号は、制御装置１８によって画像データに変換される。これにより、デジタルカメラにおいて撮像画像が取得される。なお、撮像素子６の撮像面には、赤外光を遮断するための赤外カットフィルタや、画像の折り返しノイズを防止するための光学ローパスフィルタなども設けられている（不図示）。

マイクロレンズアレイ７は、複数のマイクロレンズを二次元状に配列して構成され、撮影光学系１ａによる像がマイクロレンズアレイ７上に結像する。また、撮影光学系１ａを通過した光束は、各マイクロレンズを介して受光素子に入射される。なお、受光素子は、マイクロレンズに関して撮影光学系１ａの瞳とほぼ共役になっている。

図２は、撮像素子６の撮像面を見た図である。図２に示すように、撮像素子６の有効画素範囲に対して、マイクロレンズアレイ７の複数のマイクロレンズ７１が二次元状に配列されている。図３は、図２の一部分を拡大した図である。図３に示すように、１つのマイクロレンズ７１に対して複数の受光素子６１が設けられている。１つのマイクロレンズ７１に対応する複数の受光素子６１により、撮像素子６において１つの画素領域が構成される。このような構成により、撮像素子６は、撮影光学系１ａからの光束をマイクロレンズ７１を介して受光して、各受光素子６１に対応する複数の受光信号を出力する。

本実施形態では、撮像素子６による受光信号に基づいて、撮像画像情報を取得すると共に、後述するデフォーカス量の演算を行う。なお、図３においては各マイクロレンズ７１に対して縦５個×横５個の合計２５個の受光素子６１を有する例を示しているが、１つのマイクロレンズ当たりの受光素子６１の数はこれに限定されることはない。

図１の撮影光学系１ａと撮像素子６との間には、撮影光学系１ａを通過した被写体からの入射光束を、ファインダー光学系側と撮像素子６側とに分岐するハーフミラー２が配設されている。被写体光束の一部はハーフミラー２を透過して撮像素子６へ導かれ、ハーフミラー２を透過しなかった被写体光束はハーフミラー２によって上方へ反射される。

ハーフミラー２で反射された被写体光束は、撮像素子６と光学的に等価な位置に設けられたファインダースクリーン３上に被写体像を結像する。ファインダースクリーン３上に結像された被写体像は、ペンタプリズム４および接眼レンズ５を介して撮影者の目へ導かれ、撮影者によって視認される。

ファインダースクリーン３上に結像された被写体像はさらに、ペンタプリズム４および測光用レンズ１５を介して測光センサ１６へ導かれる。測光センサ１６は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）のいずれかの光を通過させるカラーフィルタを介して受光する複数の受光素子を有する。測光センサ１６は、各受光素子で得られた受光信号を被写体像の色情報や輝度情報として制御装置１８へ出力する。制御装置１８は、測光センサ１６からの受光信号に基づいて、結像面の明るさを検出する。

上述したように本実施形態のデジタルカメラでは、撮像素子６において１つの画素領域を構成する縦５個、横５個の合計２５個の受光素子６１（図３参照）にそれぞれ対応する色情報や輝度情報を、１画素領域分の撮像画像情報として扱う。すなわち、本実施形態のデジタルカメラにより取得される撮像画像情報は、１画素領域当たりその画素領域の複数倍の受光情報を有している。この撮像画像情報に基づいて後述するような画像合成処理が行われることにより、任意の位置（マイクロレンズアレイ７からの距離）の像面にピントの合った画像を合成することができる。

センサ制御部８は、デジタルカメラの動作状況に応じて撮像素子６のゲイン量や蓄積時間を制御し、撮像素子６の各受光素子から出力される受光信号を読み出す。センサ制御部８によって読み出された受光信号は、アナログデジタル変換処理によりデジタル信号に変換される。デジタル変換後の受光信号は、バッファメモリ１８Ｍに一時的に格納される。バッファメモリ１８Ｍ内の受光信号は、被写体認識部９および焦点検出演算部１１へ出力されて後述するデフォーカス量検出に用いられる他、画像生成部１７へ出力されて所定の画像処理が施される。

被写体認識部９は、バッファメモリ１８Ｍ内のデジタル変換後の受光信号に基づいて、撮影光学系１ａによる像のうちの特定の像を被写体として認識し、認識した被写体の位置（画面内の位置）、数、大きさ（像を構成する画素数）などを特定する。さらに、認識した被写体の中からいずれかを主要被写体として特定する。被写体認識部９は、後述するパンフォーカス画像について被写体認識を行う。被写体の認識には、予め登録されたテンプレート画像との類似度を算出し、類似度が所定値以上である画像領域を被写体の位置として検出するテンプレートマッチング等の手法を用いることができる。

焦点検出領域設定部１０は、被写体認識部９による被写体の認識結果に基づいて、焦点検出演算部１１によるデフォーカス量の検出対象とする焦点検出領域（焦点検出位置）を像面内に設定する。この焦点検出領域は、像面内の任意の位置に、任意の大きさで、任意の数だけ設定することができる。焦点検出領域設定部１０による焦点検出領域の具体的な設定方法については、後で説明する。

焦点検出演算部１１は、バッファメモリ１８Ｍ内の受光信号のうち、焦点検出領域設定部１０により設定された焦点検出領域に対応する画素に属する受光素子からの受光信号に基づいて、撮影光学系１ａの焦点調節状態を示すデフォーカス量を検出する。このデフォーカス量の検出は、周知の瞳分割型位相差検出方式により、以下に説明するようにして行われる。

焦点検出演算部１１によるデフォーカス量の検出方法を図４、５を参照して説明する。図４は、焦点検出領域設定部１０により設定された焦点検出領域に対応する画素を拡大した図である。像ずれ検出方向である焦点検出領域の長手方向の長さは、適宜決定する。図４は、破線で囲んだ２列の画素列を焦点検出領域に対応する画素として選択した例を示すが、図５に示すように１列の画素列を焦点検出領域に対応する画素として選択してもよい。あるいは、３列以上の画素列を焦点検出領域に対応する画素として選択してもよい。焦点検出演算部１１は、焦点検出領域内のマイクロレンズに対応する複数の受光素子からの受光信号に基づいて、撮影光学系１ａの異なる瞳領域を通過した対の光束による像のずれ量を示す焦点検出信号、すなわち対の焦点検出用信号列を生成する。

図４および図５において、焦点検出演算部１１は、マイクロレンズ下の黒く示した受光素子の出力を、焦点検出用の一対の信号列である第１信号列{ａ(i)}と第２信号列{ｂ(i)}（ｉ＝１，２，３，…）として、次式（１）のように抽出する。
第１信号列{ａ(i)}＝ａ(1)、ａ(2)、ａ(3)、…、
第２信号列{ｂ(i)}＝ｂ(1)、ｂ(2)、ｂ(3)、… …（１）
なお、図４に示す例では、{ａ(i)}および{ｂ(i)}についてそれぞれ各マイクロレンズ下の３個の受光素子出力を加算するとともに、２列の焦点検出画素列の上下２つの画素出力を加算して信号列を生成する。また、斜め４５度方向に焦点検出領域を設定する場合には、図５に示すように焦点検出用画素を決定して信号列を生成する。

焦点検出演算部１１は、第１信号列{ａ(i)}と第２信号列{ｂ(i)}を用いて像ずれ演算を行い、以下のようにデフォーカス量を算出する。まず、第１信号列{ａ(i)}と第２信号列{ｂ(i)}から一対の像（信号列）の相関量Ｃ(Ｎ)を次式により求める。
Ｃ(Ｎ)＝Σ｜ａ(i)−ｂ(j)｜ …（２）
ただし、上式（２）においてｊ−ｉ＝Ｎ（シフト数）であり、Σは上底がｑＬで下底がｐＬの総和演算を表す。

上式（２）により得られた離散的な相関量Ｃ(Ｎ)からシフト量を求める。Ｃ(Ｎ)の中でシフト量Ｎのときに極小値を与える相関量をＣｏとし、シフト量(Ｎ−１)における相関量をＣｒ、シフト量(Ｎ＋１)における相関量をＣｆとする。これらの３個の相関量Ｃｒ、Ｃｏ、Ｃｆの並びから精密なシフト量Ｎａを次式（３）により求める。
ＤＬ＝０．５×（Ｃｒ−Ｃｆ）、
Ｅ＝ｍａｘ｛Ｃｆ−Ｃｏ、Ｃｒ−Ｃｏ｝、
Ｎａ＝Ｎ＋ＤＬ／Ｅ …（３）
これに焦点検出面の位置に応じた補正量（定数const）を加え、焦点検出面上での像ずれ量Δｎを算出する。
Δｎ＝Ｎａ＋const …（４）

次に焦点検出演算部１１は、検出開角に依存する定数Ｋｆを用いて次式（５）により像ずれ量Δｎからデフォーカス量Ｄｆを算出する。
Ｄｆ＝Ｋｆ×Δｎ …（５）
こうしてデフォーカス量Ｄｆを算出することにより、焦点検出演算部１１によるデフォーカス量の検出が行われる。

レンズ駆動量演算部１２は、デフォーカス演算部１０によって算出されたデフォーカス量Ｄｆに基づいて、撮影光学系１ａが有する焦点調節レンズの駆動量を演算する。ここでは、焦点調節レンズの駆動位置の目標となるレンズ目標位置を演算することにより、レンズ駆動量の演算を行う。なお、レンズ目標位置は、当該デフォーカス量が０となる焦点調節レンズの位置に相当する。

レンズ駆動制御部１３は、レンズ駆動量演算部１２によって演算されたレンズ駆動量、すなわち焦点調節レンズに対するレンズ目標位置に基づいて、レンズ駆動用モータ１４へ駆動制御信号を出力する。この駆動制御信号に応じてレンズ駆動用モータ１４が焦点調節レンズを駆動してレンズ目標位置へ移動させることにより、撮影光学系１ａの焦点調節が行われる。

画像生成部１７は、撮像素子６により取得されバッファメモリ１８Ｍ内に格納されている受光信号に基づいて、（Ａ）パンフォーカス画像の生成、および（Ｂ）任意の位置の像面にピントの合った撮像画像を合成する。画像生成部１７によって合成された撮像画像は表示部１９に再生表示される他、合成後の撮像画像情報として記録媒体に記録される。表示部１９は、液晶ディスプレイ等の表示装置によって構成されており、制御装置１８が行う表示制御に応じて、上記の合成撮像画像を含む様々な画像や映像を表示する。

（Ａ）パンフォーカス画像の生成
画像生成部１７によるパンフォーカス画像の生成について説明する。画像生成部１７は、バッファメモリ１８Ｍ内に格納されている受光信号のうち、図３に例示した各画素領域の中央に位置する受光素子の受光信号（たとえば、マイクロレンズ７１下の受光素子６１の中央に位置する受光素子からの信号）のみを抽出することにより、絞り最小に対応する撮像画像を擬似的に生成する。この生成画像は、画面内のほぼ全被写体にピントが合うパンフォーカス画像である。なお、受光信号の抽出対象とする範囲（各画素の中央を中心とする円の面積）を拡げて抽出する受光信号の数を増やすほど、絞り口径が大きい場合に対応する撮像画像が生成される。

（Ｂ）任意の像面にピントの合った撮像画像を合成
画像生成部１７による撮像画像の合成方法を図６を参照して説明する。図６（ａ）は、撮影光学系１ａによる結像面からの距離がｈである像面ｐａにピントが合った撮像画像を合成する方法を説明する図である。図６（ａ）において、像面ｐａにおける符号２０に示す位置に対応する撮影光学系１ａからの入射光束２１〜２５は、マイクロレンズアレイ７（マイクロレンズ７１）を通過した後、画素６１ａ〜６１ｅの受光素子ａ１，ｂ２，ｃ３，ｄ４，ｅ５においてそれぞれ受光される。したがって、バッファメモリ１８Ｍ内に格納されている受光信号のうち、受光素子ａ１，ｂ２，ｃ３，ｄ４およびｅ５の受光信号を選択し、それらの受光信号を合成することで、像面ｐａにおける位置２０に対応する画素６１ｃの画像信号を生成することができる。像面ｐａ上の他の位置についても同様にして受光信号を合成し、対応する画素の画像信号を生成することで、像面ｐａにピントが合った撮像画像を合成することができる。

図６（ｂ）は、撮影光学系１ａによる結像面からの距離が０である像面ｐｂにピントが合った撮像画像、すなわち撮影光学系１ａによる結像面の撮像画像を合成する方法を説明する図である。図６（ｂ）において、像面ｐｂにおける符号３０に示す位置に対応する撮影光学系１ａからの入射光束３１〜３５は、マイクロレンズアレイ７（マイクロレンズ７１）を通過した後、画素６１ｃの受光素子ｃ１，ｃ２，ｃ３，ｃ４，ｃ５においてそれぞれ受光される。したがって、バッファメモリ１８Ｍ内に格納されている受光信号のうち、受光素子ｃ１，ｃ２，ｃ３，ｃ４およびｃ５の受光信号を選択し、それらの受光信号を合成することで、像面ｐｂにおける位置３０に対応する画素６１ｃの画像信号を生成することができる。像面ｐｂ上の他の位置についても同様にして受光信号を合成し、対応する画素の画像信号を生成することで、像面ｐｂにピントが合った撮像画像を合成することができる。

以上説明したように、撮影光学系１ａによる結像面から任意の像面までの距離に応じて受光信号を適宜選択して合成して各画素の画像信号を得ることで、任意の像面にピントの合った撮像画像が合成される。

さらに、受光信号の選択対象とする受光素子の数を変更することで、同じ像面において絞り口径が異なる複数種類の撮像画像を合成することもできる。たとえば図６（ａ）、（ｂ）の例において、各画素領域の中心にある１つの受光素子（画素領域６１ｃでは、受光素子ｃ３）の受光信号のみを選択すれば、上述したパンフォーカス画像のように絞り最小に対応する撮像画像を合成することができる。

そして、受光信号の選択対象とする範囲（各画素領域の中央を中心とする円の面積）を拡げて選択する受光信号の数を増やすほど、絞り口径が大きい場合に対応する撮像画像が合成される。

なお、上記結像面から任意の像面までの距離は、上述した焦点検出演算部１１が検出するデフォーカス量に対応している。すなわち、焦点検出演算部１１によって検出されるデフォーカス量は、撮像素子６からの受光信号をセンサ制御部８が得た際の撮影光学系１ａによる結像面、およびマイクロレンズアレイ７間の距離を表している。

上述した図６（ａ），（ｂ）では、画像合成対象とする像面が結像面よりも前側（撮影光学系１ａに近い位置）にある場合の撮像画像の合成方法を説明したが、画像合成対象とする像面を結像面よりも後側（撮影光学系１ａから遠い位置）とした場合にも、同様にして撮像画像を合成することができる。

制御装置１８は、マイコンやメモリ等によって構成されており、上記のセンサ制御部８、被写体認識部９、焦点検出領域設定部１０、焦点検出演算部１１、レンズ駆動量演算部１２、レンズ駆動制御部１３、バッファメモリ１８Ｍおよび画像生成部１７の各機能を実現するための処理を実行したり、デジタルカメラの動作制御を行ったりする。また、これらの処理や制御において必要な情報を一時的に記憶する。

本実施形態のデジタルカメラにおいて制御装置１８により実行される処理の流れについて、図７のフローチャートを参照して説明する。制御装置１８は、たとえば、デジタルカメラに設けられた不図示のレリーズボタンが撮影者によって半押し操作された場合に図７による処理を開始する。

図７のステップＳ１１において、制御装置１８は初期設定を行ってステップＳ１２へ進む。初期設定には、不図示の絞り駆動機構へ絞り１ｂを開放させる指示の送出、およびレンズ駆動制御部１３へ焦点調節レンズを所定位置（たとえば、撮影距離１ｍの被写体にピントが合うレンズ位置）へ駆動させる指示の送出を含む。

ステップＳ１２において、制御装置１８は、撮影条件を設定してステップＳ１３へ進む。具体的には、測光センサ１６から出力される測光信号に基づいて検出した結像面の明るさや、予め設定されている撮影モード（たとえば、プログラムオート、シャッター秒時優先オートなど）に基づいて、ＩＳＯ感度、制御シャッター秒時および制御絞り値を求める。

ステップＳ１３において、制御装置１８は撮影指示が行われたか否かを判定する。制御装置１８は、レリーズボタン（不図示）が撮影者によって全押し操作された場合にステップＳ１３を肯定判定してステップＳ１４へ進む。制御装置１８は、レリーズボタンが全押し操作されない場合にはステップＳ１３を否定判定し、ステップＳ２３へ進む。

ステップＳ２３において、制御装置１８はタイムアップか否かを判定する。制御装置１８は、半押し起動後に何も操作されない状態における計時時間が所定時間（たとえば１０秒）に達した場合にステップＳ２３を肯定判定し、図７による処理を終了する。制御装置１８は、計時時間が所定時間に満たない場合にはステップＳ２３を否定判定し、ステップＳ１２へ戻って上述した処理を繰り返す。

ステップＳ１４において、制御装置１８は撮像素子６に画像信号を取得させてステップＳ１５へ進む。これにより、センサ制御部８によって撮像素子６から読み出された受光信号がデジタル信号に変換され、バッファメモリ１８Ｍに一時格納される。

ステップＳ１５において、制御装置１８は画像生成部１７にパンフォーカス画像を生成させてステップＳ１６へ進む。これにより、生成されたパンフォーカス画像を示す信号がバッファメモリ１８Ｍに一時的に格納される。ステップＳ１６において、制御装置１８は被写体認識部９に被写体を特定させてステップＳ１７へ進む。被写体認識部９は、前述のようにテンプレートマッチング等の手法を用いて、バッファメモリ１８Ｍに格納されているパンフォーカス画像のうち特定の像を被写体として認識し、その被写体の位置、数、大きさ、主要被写体などを特定する。

被写体認識部９は、特定した被写体のうち大きい（当該被写体像を構成する画素数が多い）もの、および特定した被写体のうち画面中央に近いものを主要被写体として特定する。焦点検出領域設定部１０は、被写体認識部９が特定した主要被写体領域に対して焦点検出領域を設定する。具体的には、図４に例示したような焦点検出領域（破線で囲んだ画素列）を、主要被写体に対応させて設定する。

ステップＳ１７において、制御装置１８は、焦点検出演算部１１に焦点検出演算を行わせてステップＳ１８へ進む。これにより、焦点検出演算部１１が上記焦点検出領域に対するデフォーカス量を検出する。デフォーカス量の検出は、前述のようにバッファメモリ１８Ｍに格納されている受光信号のうち、設定した焦点検出領域に対応する画素に属する受光素子からの受光信号に基づいて行われる。

ステップＳ１８において、制御装置１８は、上記検出したデフォーカス量に基づいて撮像画像を合成する像面の位置（マイクロレンズアレイ７からの距離）を決定してステップＳ１９へ進む。ステップＳ１９において、制御装置１８は、決定した像面の位置（マイクロレンズアレイ７からの距離）が所定値以下か否かを判定する。制御装置１８は、所定値を超える（すなわち、ピントが合う画像を合成できない）場合はステップＳ１９を否定判定してステップＳ２２へ進む。制御装置１８は、所定値以下である（すなわち、ピントが合う画像を合成できる）場合はステップＳ１９を肯定判定してステップＳ２０へ進む。

ステップＳ２０において、制御装置１８は画像生成部１７に指示を送り、ステップＳ１８で決定した像面でピントが合う撮像画像を合成させてステップＳ２１へ進む。画像生成部１７は、デフォーカス量に基づいて、図６を参照して説明した方法により、バッファメモリ１８Ｍに格納されている受光信号のうち一部を選択する。このとき、ステップＳ１２で求めた制御絞り値に応じて、受光信号の選択対象とする受光素子の範囲（各画素の中央を中心とする円の面積）を決定する。このように選択した受光信号に基づいて画像信号を合成することにより、主要被写体にピントの合う撮像画像が合成される。

ステップＳ２１において、制御装置１８は、合成後の撮像画像情報を画像ファイルとして記録媒体に記録し、図７による処理を終了する。上述したステップＳ１９を否定判定して進むステップＳ２２において、制御装置１８は、ステップＳ１７で検出したデフォーカス量に基づいて、レンズ駆動量演算部１２によるレンズ光学系１の焦点調節を行わせる。これによりレンズ駆動量演算部１２は、検出されているデフォーカス量に基づいて、主要被写体にピントが合うようにレンズ駆動量および駆動方向を演算する。そして、レンズ駆動量演算部１２からレンズ駆動用モータ１４へ駆動制御信号が出力されると、レンズ駆動用モータ１４が焦点調節レンズを進退移動させる。以上により、レンズ光学系１の焦点調節が行われる。制御装置１８は、焦点調節後にステップＳ１４へ戻り、上述した処理を繰り返す。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラは、複数のマイクロレンズ７１を配列したマイクロレンズアレイ７と、複数のマイクロレンズ７１に対して複数の受光素子６１を有し、光学系１ａからの光束をマイクロレンズアレイ７を介して受光して複数の受光信号を出力する撮像素子６と、複数のマイクロレンズ７１のそれぞれに対応して出力される複数の受光信号のうちの一部の第１受光信号に基づいてパンフォーカス画像を生成する画像生成部１７と、パンフォーカス画像から特定の対象の像を選択する被写体認識部９と、パンフォーカス画像のうちの特定の対象の像の位置に対して、受光信号を得た際の光学系１ａによる像面のずれ量を検出する焦点検出演算部１１と、複数のマイクロレンズ７１のそれぞれに対応して出力される複数の受光信号のうち、検出されたずれ量に基づいて選択した第２受光信号に基づいて撮像画像を合成する画像生成部１７と、を備えるように構成したので、１回の撮像データに基づいて所望の被写体に対してピントが合った画像を容易に得ることができる。

検出したデフォーカス量の大きさに基づいて、レンズ駆動用モータ１４によって焦点調節レンズを進退移動させる機会を制限したので、画像合成処理によってピントの合う画像が得られる場合は焦点調節レンズの進退移動をしなくてよい。これにより、デジタルカメラの省電力化につながる。

（２）焦点検出演算部１１は、撮像素子６から出力された複数の受光信号に基づいてずれ量を検出するので、ずれ量検出用に撮像素子６と異なる他の受光センサを設ける必要がない。

（３）光学系１ａを焦点調節するためのレンズ駆動用モータ１４およびレンズ駆動制御部１３をさらに備え、焦点調節した後の光学系１ａからの光束に基づく複数の受光信号を撮像素子６から読み出すので、殆どの被写体にピントが合うパンフォーカス画像が得られる。

（４）ずれ量が所定値を超える場合に光学系１ａを焦点調節するようにしたので、ピントが合う画像を合成できないほどずれ量が大きい場合はレンズ駆動用モータ１４およびレンズ駆動制御部１３による焦点調節を行うことができる。

（５）画像生成部１７は、ずれ量に基づいて第２受光信号を選択する際の選択範囲を選択可能としたので、絞り値が異なる合成画像を得ることができる。

（６）受光素子アレイは、光学系を開放絞りに設定した状態で光学系１ａからの光束に基づく複数の受光信号を撮像素子６から読み出すので、最小絞り設定の状態で読み出す場合に比べて、合成画像の絞り値の範囲を広くすることができる。

（７）画像生成部１７は、複数のマイクロレンズ７１のそれぞれに対応する複数の受光素子６１の略中央に対応する受光素子による受光信号に基づいてパンフォーカス画像を生成するので、簡単にパンフォーカス画像が得られる。

（８）焦点検出領域設定部１０は、パンフォーカス画像に含まれる像の位置および大きさの少なくとも一方に基づいてずれ量を検出する位置を決定するので、撮影者が所望すると思われる被写体に対してピントが合った画像を容易に得ることができる。

（９）焦点検出領域設定部１０は、撮影モードの種類に応じて像の位置および大きさの優先順を決めるので、シーンに適した位置を決めることができる。

（変形例１）
上記実施形態では、撮影者によって撮影指示が行われた場合（ステップＳ１３を肯定判定）に画像信号を取得する（ステップＳ１４）例を説明した。この代わりに、制御装置１８が自動的に撮影指示を発するように構成してもよい。図８は、この場合の制御装置１８により実行される処理の流れを説明するフローチャートである。制御装置１８は、たとえば、デジタルカメラのがオートレリーズ機能がオン設定された場合に図８による処理を開始する。

図８において図７の場合と同様の処理を行うステップは、図７と同じステップ番号を付して説明を省略する。ステップＳ１６の次に進むステップＳ１６Ｂにおいて、制御装置１８は、主要被写体を特定したか否かを判定する。制御装置１８は、主要被写体を特定した場合にステップＳ１６Ｂを肯定判定してステップＳ１７へ進む。制御装置１８は、主要被写体を特定していない場合にはステップＳ１６Ｂを否定判定し、ステップＳ１２へ戻る。

変形例１によれば、主要被写体を特定した場合に自動的に当該被写体にピントの合う画像を記録するので、撮影者がデジタルカメラを被写体に向けるだけで、当該被写体にピントの合った画像を自動的に得ることが可能になる。

（変形例２）
撮像素子６から画像信号を所定時間間隔（たとえば、３０フレーム／毎秒）で読み出すように構成し、読み出した画像信号に対して上述した処理を逐次施すことにより、複数の合成画像を動画像として記録媒体に記録するようにしてもよい。

（変形例３）
以上の説明では、デジタルカメラの制御装置１８が実行する処理を例に説明したが、上述した画像合成処理（ステップＳ１５−ステップＳ２１）を行うプログラムを図９に示すコンピュータ装置２００に実行させることにより、画像処理装置を構成してもよい。プログラムをパーソナルコンピュータ２００に取込んで使用する場合には、パーソナルコンピュータ２００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。

パーソナルコンピュータ２００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４をパーソナルコンピュータ２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２００へローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。プログラムは、記録媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

上述した構成はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。デジタルカメラは、一眼タイプでも一眼でないタイプでも構わない。また、撮像素子の受光信号に基づいてデフォーカス量を検出するのに代えて、独立した瞳分割位相差検出方式の焦点検出装置でデフォーカス量を検出するようにしてもよい。

１ａ…レンズ光学系
１ｂ…絞り
６…撮像素子
７…マイクロレンズアレイ
９…被写体認識部
１０…焦点検出領域設定部
１１…焦点検出演算部
１３…レンズ駆動制御部
１４…レンズ駆動用モータ
１７…画像生成部
１８…制御装置
１８Ｍ…バッファメモリ
１９…表示部
６１…受光素子
７１…マイクロレンズ

Claims (11)

1. 複数のマイクロレンズを配列したマイクロレンズアレイと、
   前記複数のマイクロレンズに対して複数の受光素子を有し、光学系からの光束を前記マイクロレンズアレイを介して受光して複数の受光信号を出力する受光素子アレイと、
   前記複数のマイクロレンズのそれぞれに対応して出力される前記複数の受光信号のうちの一部の第１受光信号に基づいて第１画像を生成する画像生成手段と、
   前記第１画像から特定の対象の像を選択する選択手段と、
   前記第１画像のうちの前記特定の対象の像の位置に対して、前記受光信号を得た際の前記光学系による像面のずれ量を検出するずれ量検出手段と、
   前記複数のマイクロレンズのそれぞれに対応して出力される前記複数の受光信号のうち、前記検出されたずれ量に基づいて選択した第２受光信号に基づいて第２画像を合成する画像合成手段と、を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記ずれ量検出手段は、前記複数の受光信号に基づいて前記ずれ量を検出することを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記光学系を焦点調節する焦点調節手段をさらに備え、
   前記受光素子アレイは、前記焦点調節手段によって焦点調節した後の前記光学系からの光束に基づいて前記複数の受光信号を出力することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記焦点調節手段は、前記ずれ量が所定値を超える場合に前記光学系を焦点調節することを特徴とする撮像装置。
5. 請求項１〜４のいずれか一項に記載の撮像装置において、
   前記画像合成手段は、前記ずれ量に基づいて前記第２受光信号を選択する際の選択範囲を選択可能としたことを特徴とする撮像装置。
6. 請求項１〜５のいずれか一項に記載の撮像装置において、
   前記受光素子アレイは、前記光学系を開放絞りに設定した状態で前記複数の受光信号を出力することを特徴とする撮像装置。
7. 請求項１〜６のいずれか一項に記載の撮像装置において、
   前記画像生成手段は、前記複数のマイクロレンズのそれぞれに対応する前記複数の受光素子の略中央に対応する受光素子による受光信号に基づいて前記第１画像を生成することを特徴とする撮像装置。
8. 請求項１〜７のいずれか一項に記載の撮像装置において、
   前記ずれ量検出手段は、前記第１画像に含まれる像の位置および大きさの少なくとも一方に基づいて前記ずれ量を検出する位置を決定することを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記ずれ量検出手段は、撮影モードの種類に応じて前記像の位置および大きさの優先順を決めることを特徴とする撮像装置。
10. 請求項１〜９のいずれか一項に記載の撮像装置において、
    前記第２画像のデータを記録媒体に記録する記録手段をさらに備え、
    前記記録手段は、繰り返し出力される前記複数の受光信号の出力に基づく複数の前記第２画像を動画像として記録することを特徴とする撮像装置。
11. 光学系からの光束を、複数のマイクロレンズに対して配置された複数の受光素子によって受光することにより得られた複数の受光信号データを入力する処理と、
    前記複数の受光信号データに基づいて、前記複数のマイクロレンズのそれぞれに対応している前記複数の受光信号データのうちの一部の第１受光信号データを抽出する処理と、
    前記第１受光信号データに基づいて第１画像を生成する画像生成処理と、
    前記第１画像から特定の対象の像を選択する選択処理と、
    前記第１画像のうちの前記特定の対象の像の位置に対して、前記受光信号が得られた際の前記光学系による像面のずれ量を検出するずれ量検出処理と、
    前記複数のマイクロレンズのそれぞれに対応している前記複数の受光信号データのうち、前記検出されたずれ量に基づいて第２受光信号を選択する処理と、
    前記第２受光信号データに基づいて第２画像を合成する画像合成処理と、をコンピュータに実行させるための画像処理プログラム。

Images