JP2011097645A - 画像合成装置、撮像装置、画像合成方法 - Google Patents

Abstract

【課題】撮影データから撮影後に任意の距離にある被写体にピントの合った像面の画像を合成する際に、画像合成の対象とする像面を迅速に設定する。
【解決手段】画像合成装置は、複数のマイクロレンズを配列したマイクロレンズアレイ７と、複数のマイクロレンズに対して複数の受光素子を有し、光学系１からの光束をマイクロレンズを介して受光して複数の受光信号を出力する受光素子アレイ６と、受光信号を得た際の光学系１による像面のずれ量を検出する検出手段１１と、検出手段１１によって検出されたずれ量に基づいて複数の受光信号の一部を選択し、選択した該一部の受光信号に基づいて画像信号を生成する画像生成手段１７とを備える。
【選択図】図１

Description

本発明は、画像合成装置、撮像装置および画像合成方法に関する。

一回の撮影で得られたデータから撮影後に任意の距離にある被写体にピントの合った像面の画像を合成する画像合成方法が本願出願人によって出願されている（特許文献１参照）。

特開２００７−４４７１号公報

上記の画像合成方法では、画像合成の対象とする像面をいかに設定するかについては提案されていなかった。

本発明による画像合成装置は、複数のマイクロレンズを配列したマイクロレンズアレイと、複数のマイクロレンズに対して複数の受光素子を有し、光学系からの光束をマイクロレンズを介して受光して複数の受光信号を出力する受光素子アレイと、受光信号を得た際の光学系による像面のずれ量を検出する検出手段と、検出手段によって検出されたずれ量に基づいて複数の受光信号の一部を選択し、選択した該一部の受光信号に基づいて画像信号を生成する画像生成手段とを備える。
本発明による撮像装置は、上記の画像合成装置と光学系とを備える。
本発明による画像合成方法は、光学系からの光束を、複数のマイクロレンズに対して配置された複数の受光素子によって受光することにより複数の受光信号を得て、受光信号を得た際の光学系による像面のずれ量を検出し、検出した像面のずれ量に基づいて複数の受光信号の一部を選択し、該一部の受光信号に基づいて画像信号を生成する。

本発明によれば、撮影データから撮影後に任意の距離にある被写体にピントの合った像面の画像を合成する際に、画像合成の対象とする像面を迅速に設定することができる。

本発明の一実施形態によるデジタルカメラの要部構成を示すブロック図である。 撮像素子と焦点検出光学系の正面図である。 図２の一部分を拡大した図である。 ２列の画素列を焦点検出領域に対応する画素として選択した例を示す図である。 １列の画素列を焦点検出領域に対応する画素として選択した例を示す図である。 撮像画像の合成方法を説明するための図である。 焦点検出領域の設定方法を説明するための図である。 撮影処理のフローチャートである。 画像合成処理のフローチャートである。 パーソナルコンピュータを画像合成装置として使用する例を示す図である。

本発明による画像合成装置および撮像装置の一実施形態である一眼レフ方式のデジタルカメラ（以下、単にカメラという）について、以下に説明する。図１は、カメラの要部構成を示すブロック図である。カメラは、カメラボディとレンズ鏡筒を有しており、カメラボディにレンズ鏡筒が交換可能に装着されている。レンズ鏡筒内には、レンズ光学系１と、レンズ駆動用モータ１４が設けられている。レンズ光学系１は、被写体像を結像面に結像させるための光学系であり、焦点調節レンズを含む複数のレンズによって構成される。焦点調節レンズは、レンズ駆動用モータ１４の動作により光軸方向に移動可能である。

カメラボディの内部には、クイックリターンミラー２、ファインダースクリーン３、ペンタプリズム４、接眼レンズ５、撮像素子６、焦点検出光学系７、センサ制御部８、被写体認識部９、焦点検出領域設定部１０、焦点検出演算部１１、レンズ駆動量演算部１２、レンズ駆動制御部１３、測光用レンズ１５、測光センサ１６、画像生成部１７および制御装置１８が設けられている。また、カメラボディの背面には、表示部１９が設けられている。なお、センサ制御部８、被写体認識部９、焦点検出領域設定部１０、焦点検出演算部１１、レンズ駆動量演算部１２、レンズ駆動制御部１３および画像生成部１７は、制御装置１８の機能により実現されるものである。

撮像素子６は、複数の受光素子（光電変換素子）を有する受光素子アレイである。撮像素子６には、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の受光素子が所定の配列パターンで配列されている。撮像素子６は、レンズ光学系１を介した光束を各受光素子において受光することで、レンズ光学系１によって結像される結像面の画像を撮像し、各受光素子の色情報や輝度情報に応じた受光信号を出力する。撮像素子６から出力された受光信号は、制御装置１８の制御によって画像データに変換される。これにより、カメラにおいて撮像画像が取得される。撮像素子６には、たとえばＣＣＤやＣＭＯＳ等が使用される。なお、撮像素子６の撮像面の前には、赤外光をカットするための赤外カットフィルタや、画像の折り返しノイズを防止するための光学ローパスフィルタなどが配置されている。

焦点検出光学系７は、レンズ光学系１を介した光束を撮像素子６の各画素上に結像するための複数のマイクロレンズを二次元状に配列して構成されたマイクロレンズアレイであり、撮像素子６の前方に配置されている。図２は、撮像素子６と焦点検出光学系７の正面図である。図２に示すように、撮像素子６の有効画素範囲に対して、焦点検出光学系７の複数のマイクロレンズ７１が二次元状に配列されている。図３は、図２の一部分を拡大した図である。図３に示すように、１つのマイクロレンズ７１に対して複数の受光素子６１が設けられている。この１つのマイクロレンズ７１に対応する複数の受光素子６１により、撮像素子６において１つの画素が構成される。このような構成により、撮像素子６は、レンズ光学系１からの光束をマイクロレンズ７１を介して受光して、各受光素子６１に対応する複数の受光信号を出力することができる。この受光信号に基づいて、撮像画像情報が取得されると共に、後述するようなデフォーカス量の演算が行われる。なお、図３では縦５個、横５個の合計２５個の受光素子６１で１つの画素を構成しているが、１つの画素を構成する受光素子６１の数はこれに限定されない。

レンズ光学系１と焦点検出光学系７との間には、レンズ光学系１を通過した被写体からの入射光束をファインダー光学系へと反射するクイックリターンミラー２が配設されている。入射光束の一部はクイックリターンミラー２の半透過領域を透過し、焦点検出光学系７を介して撮像素子６へ導かれる。クイックリターンミラー２の半透過領域を透過しなかった入射光束は、クイックリターンミラー２によって反射される。

クイックリターンミラー２で反射された入射光束は、撮像素子６と光学的に等価な位置に設けられたファインダースクリーン３上に被写体像を結像する。ファインダースクリーン３上に結像された被写体像は、ペンタプリズム４および接眼レンズ５を通って撮影者の目へと導かれ、撮影者によって視認される。

ファインダースクリーン３上に結像された被写体像はまた、ペンタプリズム４および測光用レンズ１５を通って測光センサ１６へと導かれる。測光センサ１６は、撮像素子６と同様に、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の各受光素子が所定の配列パターンで配列されており、レンズ光学系１により結像される結像面の画像情報を撮像する。そして、各画素に対応する色情報や輝度情報に応じた測光信号を制御装置１８へ出力する。制御装置１８は、この測光センサ１６からの測光信号に基づいて、結像面の明るさを検出することができる。

カメラが撮影を行う際には、クイックリターンミラー２が光路上から光路外へと移動され、レンズ光学系１を介した入射光束により撮像素子６上に被写体像が結像される。この被写体像を撮像素子６により撮像することで撮像画像情報が取得される。取得された撮像画像情報は、不図示のメモリーカードに記録される。こうしたクイックリターンミラー２の動作は、制御回路１８により制御される。

なお、本実施形態のカメラでは、撮像素子６において１つの画素を構成する縦５個、横５個の合計２５個の受光素子６１（図３参照）にそれぞれ対応する色情報や輝度情報を、１画素分の撮像画像情報として記録する。すなわち、本実施形態のカメラにより取得される撮像画像情報は、１画素当たり複数の受光素子の情報を有している。この撮像画像情報に基づいて後述するような画像合成処理が行われることにより、任意の距離の像面にピントの合った撮像画像を合成することができる。

センサ制御部８は、カメラの動作状況に応じて撮像素子６のゲイン量や蓄積時間を制御し、撮像素子６の各受光素子から出力される受光信号を読み出す。センサ制御部８によって読み出された受光信号は、アナログデジタル変換処理によりデジタル信号に変換される。デジタル変換後の受光信号は、撮影前は被写体認識部９および焦点検出演算部１１へ出力され、撮影時は所定の信号処理が施された後、撮像画像情報としてメモリーカードに記録される。

被写体認識部９は、センサ制御部８においてデジタル信号に変換された撮影前の撮像素子６からの受光信号に基づいて、レンズ光学系１による像のうちの特定の像を被写体として認識し、認識した被写体の位置、数、大きさなどを特定する。さらに、認識した被写体の中からいずれかを主要被写体として特定する。カメラが撮影を行うと、これらの被写体認識結果は、撮影時の被写体の様子を表す被写体情報の一部として、前述の撮像画像情報と対応付けてメモリーカードに記録される。被写体の認識には、予め登録されたテンプレート画像との類似度を算出し、類似度が所定値以上である画像領域を被写体の位置として検出するテンプレートマッチング等の手法を用いることができる。

焦点検出領域設定部１０は、被写体認識部９による被写体の認識結果に基づいて、焦点検出演算部１１によるデフォーカス量の検出対象とする焦点検出領域（焦点検出位置）を像面内に設定する。この焦点検出領域は、像面内の任意の位置に、任意の大きさで、任意の数だけ設定することができる。焦点検出領域設定部１０による焦点検出領域の具体的な設定方法については、後で説明する。

焦点検出演算部１１は、撮像素子６からセンサ制御部８を経由して出力された受光信号
のうち、焦点検出領域設定部１０により設定された焦点検出領域に対応する画素に属する受光素子からの受光信号に基づいて、レンズ光学系１の焦点調節状態（レンズ光学系１による像面のずれ量）を示すデフォーカス量を検出する。このデフォーカス量の検出は、周知の瞳分割型位相差検出方式により、以下に説明するようにして行われる。

焦点検出演算部１１によるデフォーカス量の検出方法を図４、５により説明する。図４は、焦点検出領域設定部１０により設定された焦点検出領域に対応する画素を拡大した図である。像ずれ検出方向である焦点検出領域の長手方向の長さは、適宜決定する。図４は２列の画素列を焦点検出領域に対応する画素として選択した例を示すが、図５に示すように１列の画素列を焦点検出領域に対応する画素として選択してもよい。あるいは、３列以上の画素列を焦点検出領域に対応する画素として選択してもよい。焦点検出領域内のマイクロレンズに対応する複数の受光素子からの受光信号に基づいて、レンズ光学系１の異なる瞳領域を通過した対の光束による像のずれ量を示す焦点検出信号、すなわち対の焦点検出用信号列を生成する。

図４および図５において、焦点検出演算部１１は、マイクロレンズ下の黒塗りした受光素子の出力を、焦点検出用の一対の信号列である第１信号列{ａ(i)}と第２信号列{ｂ(i)}（ｉ＝１，２，３，・・）として抽出する。
第１信号列{ａ(i)}＝ａ(1)、ａ(2)、ａ(3)、・・・、
第２信号列{ｂ(i)}＝ｂ(1)、ｂ(2)、ｂ(3)、・・・ ・・・（１）
なお、図４に示す例では、各マイクロレンズ下の３個の受光素子出力を加算するとともに、２列の焦点検出画素列の上下２個の画素出力を加算して信号列を生成する。また、斜め４５度方向に焦点検出領域を設定する場合には、図５に示すように焦点検出用画素を決定して信号列を生成する。

焦点検出演算部１１は、第１信号列{ａ(i)}と第２信号列{ｂ(i)}を用いて周知の像ずれ演算を行い、デフォーカス量を算出する。まず、第１信号列{ａ(i)}と第２信号列{ｂ(i)}から一対の像（信号列）の相関量Ｃ(Ｎ)を次式により求める。
Ｃ(Ｎ)＝Σ｜ａ(i)−ｂ(j)｜ ・・・（２）
（２）式において、ｊ−ｉ＝Ｎ（シフト数）、Σは上底がｑＬ、下底がｐＬの総和演算を表す。

（２）式により得られた離散的な相関量Ｃ(Ｎ)からシフト量を求める。Ｃ(Ｎ)の中でシフト量Ｎのときに極小値を与える相関量をＣｏとし、シフト量(Ｎ−１)における相関量をＣｒ、シフト量(Ｎ＋１)における相関量をＣｆとする。これらの３個の相関量Ｃｒ、Ｃｏ、Ｃｆの並びから精密なシフト量Ｌａを次式により求める。
ＤＬ＝０．５×（Ｃｒ−Ｃｆ）、
Ｅ＝ｍａｘ｛Ｃｆ−Ｃｏ、Ｃｒ−Ｃｏ｝、
Ｎａ＝Ｎ＋ＤＬ／Ｅ ・・・（３）
これに焦点検出面の位置に応じた補正量（定数const）を加え、焦点検出面上での像ずれ
量Δｎを算出する。
Δｎ＝Ｎａ＋const ・・・（４）

次に焦点検出演算部１１は、検出開角に依存する定数Ｋｆを用いて次式により像ずれ量Δｎからデフォーカス量Ｄｆを算出する。
Ｄｆ＝Ｋｆ×Δｎ ・・・（５）
こうしてデフォーカス量Ｄｆを算出することにより、焦点検出演算部１１によるデフォーカス量の検出が行われる。カメラが撮影を行うと、各焦点検出領域に対して検出されたデフォーカス量と、対応する焦点検出領域の位置とが、前述の被写体情報の一部としてメモリーカードに記録される。

レンズ駆動量演算部１２は、デフォーカス演算部１０によって算出されたデフォーカス量に基づいて、レンズ光学系１が有する焦点調節レンズの駆動量を演算する。ここでは、焦点調節レンズの駆動位置の目標となるレンズ目標位置を演算することにより、レンズ駆動量の演算を行う。なお、レンズ目標位置は、当該デフォーカス量が０となる焦点調節レンズの位置に相当する。

レンズ駆動制御部１３は、レンズ駆動量演算部１２によって演算されたレンズ駆動量、すなわち焦点調節レンズに対するレンズ目標位置に基づいて、レンズ駆動用モータ１４へ駆動制御信号を出力する。この駆動制御信号に応じて、レンズ駆動用モータ１４が焦点調節レンズを駆動してレンズ目標位置へ移動させることにより、レンズ光学系１の焦点調節が行われる。

画像生成部１７は、撮像素子６により取得されて不図示のメモリーカードに記録された撮像画像情報に基づいて、任意の距離の像面にピントの合った撮像画像を合成する。画像生成部１７によって合成された撮像画像は表示部１９に表示される。表示部１９は、液晶ディスプレイ等の表示装置によって構成されており、制御装置１８が行う表示制御に応じて、上記の合成撮像画像を含む様々な画像や映像を表示する。

画像生成部１７による撮像画像の合成方法を図６により説明する。図６（ａ）は、レンズ光学系１による結像面からの距離（像面のずれ量）がｈである像面ｐａにピントが合った撮像画像を合成する方法を説明する図である。図６（ａ）において、像面ｐａの符号２０に示す像位置に対応するレンズ光学系１からの入射光束２１〜２５は、焦点検出光学系７（マイクロレンズ７１）を通過した後、画素６１ａ〜６１ｅの受光素子ａ１，ｂ２，ｃ３，ｄ４，ｅ５においてそれぞれ受光される。したがって、メモリーカードに記録された撮像画像情報が表す各受光信号のうち、受光素子ａ１，ｂ２，ｃ３，ｄ４およびｅ５の受光信号を選択し、それらの受光信号を合成することで、像面ｐａの像位置２０に対応する画素６１ｃの画像信号を生成することができる。他の像位置についても同様にして受光信号を合成し、対応する画素の画像信号を生成することで、像面ｐａにピントが合った撮像画像を合成することができる。

図６（ｂ）は、レンズ光学系１による結像面からの距離（像面のずれ量）が０である像面ｐｂにピントが合った撮像画像、すなわち結像面の撮像画像を合成する方法を説明する図である。図６（ｂ）において、像面ｐｂの符号３０に示す像位置に対応するレンズ光学系１からの入射光束３１〜３５は、焦点検出光学系７（マイクロレンズ７１）を通過した後、画素６１ｃの受光素子ｃ１，ｃ２，ｃ３，ｃ４，ｃ５においてそれぞれ受光される。したがって、メモリーカードに記録された撮像画像情報が表す各受光信号のうち、受光素子ｃ１，ｃ２，ｃ３，ｃ４およびｃ５の受光信号を選択し、それらの受光信号を合成することで、像面ｐｂの像位置３０に対応する画素６１ｃの画像信号を生成することができる。他の像位置についても同様にして受光信号を合成し、対応する画素の画像信号を生成することで、像面ｐｂにピントが合った撮像画像を合成することができる。

以上説明したように、結像面からの距離（像面のずれ量）に応じて受光信号を適宜選択して合成し、各画素の画像信号を生成することで、任意の距離の像面にピントの合った撮像画像が合成される。

さらに、受光信号の選択対象とする受光素子の数を変更することで、像面の位置が同じであって絞りの大きさが異なる複数種類の撮像画像を合成することもできる。たとえば図６（ａ）、（ｂ）の例において、各画素の中心にある１つの受光素子（画素６１ｃでは、受光素子ｃ３）の受光信号のみを選択すれば、絞り値が最小のときの撮像画像を合成する
ことができる。このとき合成される撮像画像は、全被写体にピントが合っているパンフォーカス画像である。ここから受光信号の選択対象とする受光素子の範囲を拡大してその数を増やすほど、絞り値が大きいときの撮像画像が合成される。

なお、上記の結像面からの距離（像面のずれ量）は、当該像面においてピントが合う被写体領域の焦点検出領域に対して焦点検出演算部１１が検出するデフォーカス量に対応している。すなわち、前述のように撮影時に焦点検出演算部１１によって検出され、被写体情報の一部として記録されるデフォーカス量は、撮像素子６からの受光信号をセンサ制御部８が得た際のレンズ光学系１による像面のずれ量を表している。

なお、図６（ａ），（ｂ）では、画像合成対象とする像面の位置が結像面よりも前側（レンズ光学系１に近い位置）にある場合の撮像画像の合成方法を説明したが、画像合成対象とする像面の位置を結像面よりも後側（レンズ光学系１から遠い位置）とした場合にも、同様にして撮像画像を合成することができる。

制御装置１８は、マイコンやメモリ等によって構成されており、上記のセンサ制御部８、被写体認識部９、焦点検出領域設定部１０、焦点検出演算部１１、レンズ駆動量演算部１２、レンズ駆動制御部１３および画像生成部１７の各機能を実現するための処理を実行したり、カメラの動作制御を行ったりする。また、これらの処理や制御において必要な情報を一時的に記憶する。

本実施形態のカメラにおいて制御装置１８により実行される処理のフローチャートを図８および９に示す。図８は、撮影時に実行される撮影処理のフローチャートであり、図９は、任意の距離の像面にピントの合った撮像画像を合成して表示する際に実行される画像合成処理のフローチャートである。

図８の撮影処理のフローチャートについて説明する。ステップＳ１０において、制御装置１８は、カメラに設けられた不図示のレリーズボタンがユーザによって半押し操作されたか否かを判定する。レリーズボタンの半押し操作がされると、制御装置１８は次のステップＳ２０へ進む。

ステップＳ２０において、制御装置１８は、カメラの撮影条件を設定する。ここでは、測光センサ１６から出力される測光信号に基づいて検出された結像面の明るさや、予め設定された撮影モードの種類などに基づいて、撮影時のＩＳＯ感度、シャッタースピードおよび絞り値を設定することにより、撮影条件の設定を行う。

ステップＳ３０において、制御装置１８は、被写体認識部９により被写体を認識する。ここでは前述のように、テンプレートマッチング等の手法を用いて、撮像素子６からの受光信号が表すレンズ光学系１による像のうち特定の像を被写体として認識し、その被写体の位置、数、大きさ、主要被写体などを特定する。

ステップＳ４０において、制御装置１８は、焦点検出領域設定部１０により、ステップＳ３０における被写体の認識結果に基づいて、レンズ光学系１による像面内に焦点検出領域を設定する。ここでは、以下に説明するように焦点検出領域の設定を行う。

図７は、ステップＳ４０における焦点検出領域の設定方法を説明するための図である。図７（ａ）は、撮像素子６からの受光信号が表す像の例を示している。このような像に対して被写体認識部９がステップＳ３０で行う被写体認識により、たとえば図７（ｂ）の符号４１〜４５に示す複数の被写体領域に像面が区分される。被写体領域４１は、図７（ａ）の像において主要被写体と認識された像面中央付近に位置する車両に対応する領域であ
る。なお、どの被写体を主要被写体とするかは、各被写体の位置関係や大きさ等に基づいて決定することができる。また、被写体領域４２は背景に、被写体領域４３は主要被写体車両の右側を走行している他の車両に、被写体領域４４は主要被写体車両の周辺の路面に、被写体領域４５は主要被写体車両の前方の路面にそれぞれ対応している。

焦点検出領域設定部１０はステップＳ４０において、被写体領域４１〜４５に対して、その大きさに応じた数の焦点検出領域を図７（ｃ）に示すようにそれぞれ設定する。すなわち、比較的小さな被写体領域４１、４３および４４には、焦点検出領域４１ａ、４３ａおよび４４ａをそれぞれ１つずつ設定する。また、これらの被写体領域よりも大きな被写体領域４２には、２つの焦点検出領域４２ａ，４２ｂを設定し、さらに大きな被写体領域４５には、３つの焦点検出領域４５ａ，４５ｂおよび４５ｃを設定する。なお、これらの焦点検出領域の設定位置は、当該被写体領域内でなるべくバランスの取れた位置とするのが好ましい。たとえば、焦点検出領域４１ａ、４３ａおよび４４ａは、被写体領域４１、４３および４４の重心位置にそれぞれ設定する。また、焦点検出領域４２ａ，４２ｂは、被写体領域４２を二等分した各領域の重心位置にそれぞれ設定し、焦点検出領域４５ａ，４５ｂおよび４５ｃは、被写体領域４５を三等分した各領域の重心位置にそれぞれ設定する。

以上説明したように、焦点検出領域設定部１０は、被写体認識部９によって区分された各被写体領域の大きさに応じて、各被写体領域に設定する焦点検出領域の数を変更する。なお、焦点検出領域の設定数を変更するか否かは、被写体領域の大きさが像面に占める割合に応じて決定することができる。たとえば、被写体領域の大きさが像面に対して１５％未満であれば、焦点検出領域の設定数を１とする。また、１５％以上３０％未満であれば焦点検出領域の設定数を２とし、３０％以上であれば焦点検出領域の設定数を３とする。ここで挙げた被写体領域の大きさの割合と焦点検出領域の設定数との関係はあくまで一例であり、本発明はこれに限定されるものではない。

あるいは、各被写体領域に対応する像のコントラストに基づいて焦点検出領域の設定位置および設定数を決定してもよい。たとえば、各被写体領域で所定値以上のコントラストを有する像の位置に対して、焦点検出領域をそれぞれ設定する。このとき、被写体領域の大きさに関わらず、コントラストが所定値以上である全ての位置に対して焦点検出領域を設定してもよいし、被写体領域の大きさに応じて設定可能な焦点検出領域の上限数を決めてもよい。このようにすれば、設定された焦点検出領域に対して信頼性の高いデフォーカス量を検出することができる。

ここで、上記説明では被写体認識部９によって区分された被写体領域４１〜４５の全てに対して焦点検出領域を設定する例を挙げたが、所定の設定条件を満たさない被写体領域には焦点検出領域を設定しないこととしてもよい。たとえば、像のコントラストが上記の所定値未満である被写体領域や、大きさが所定値未満である被写体領域などを、焦点検出領域の設定対象から除外することができる。このようにすれば、正しいデフォーカス量が検出できないおそれがある被写体領域に対しては焦点検出領域が設定されないため、デフォーカス量の検出精度の低下を防ぐことができる。

ステップＳ５０において、制御装置１８は、焦点検出演算部１１により、ステップＳ４０で設定した各焦点検出領域に対するデフォーカス量をそれぞれ検出する。このデフォーカス量の検出は、前述のように撮像素子６からの受光信号のうち、設定した焦点検出領域に対応する画素に属する受光素子からの受光信号に基づいて行われる。なお、ここで検出されるデフォーカス量は、当該焦点検出領域に対応する被写体に対するレンズ光学系１の焦点調節状態を示すものである。すなわち、当該焦点検出領域に対応する被写体にピントが合った像面の、レンズ光学系１による結像面に対するずれ量を表している。

ステップＳ６０において、制御装置１８は、ステップＳ５０で検出したデフォーカス量に基づいて、レンズ駆動量演算部１２によりレンズ光学系１の焦点調節を行う。ここでは、検出したデフォーカス量のうち主要被写体に対応する焦点検出領域のデフォーカス量に基づいて、その主要被写体にピントが合うようにレンズ駆動量が演算される。そして、レンズ駆動量演算部１２からレンズ駆動用モータ１４へ駆動制御信号を出力し、レンズ駆動用モータ１４が焦点調節レンズを駆動することにより、レンズ光学系１の焦点調節が行われる。

ステップＳ７０において、制御装置１８は、カメラに設けられた不図示のレリーズボタンがユーザによって全押し操作されたか否かを判定する。レリーズボタンの全押し操作が行われていなければステップＳ１０へ戻り、前述したような処理を繰り返す。レリーズボタンの全押し操作が行われると、制御装置１８は次のステップＳ８０へ進む。

ステップＳ８０において、制御装置１８は撮影を行う。このとき前述のように、クイックリターンミラー２を光路上から光路外へと移動して、レンズ光学系１を介した入射光束により結像される被写体像を撮像素子６により撮像し、１画素当たり複数の受光素子の情報を有する撮像画像情報を取得する。

ステップＳ９０において、制御装置１８は被写体情報を取得する。ここでは、ステップＳ７０でレリーズボタンの全押し操作が検出される直前のステップＳ３０〜Ｓ５０の実行結果に基づいて、前述のような被写体情報を取得する。この被写体情報には、撮影時の被写体認識結果、焦点検出領域およびデフォーカス量の各情報が含まれる。

ステップＳ１００において、制御装置１８は、ステップＳ８０で取得した撮像画像情報と、ステップＳ９０で取得した被写体情報とを、互いに関連付けて不図示のメモリーカードに記録する。ステップＳ１００を実行したら、制御装置１８は図８のフローチャートを終了する。以上説明したようにして撮影処理が行われる。

次に、図９の画像合成処理のフローチャートについて説明する。画像合成処理は、カメラに設けられた不図示の操作ボタンの操作により、ユーザが画像の合成をカメラに対して指示したときに行われる。ステップＳ１１０において、制御装置１８は、図８のステップＳ１００でメモリーカードに記録された撮像画像情報を読み出して、その撮像画像情報に基づく初期画像を表示部１９に再生表示する。ここでは、読み出した撮像画像情報の中から、撮像素子６の各画素の中心にある受光素子による受光信号の情報を選択し、その受光信号情報が表す画像を初期画像として表示する。この初期画像は前述のように、全被写体にピントが合っているパンフォーカス画像である。あるいは、図６（ｂ）で説明したようにして受光信号を選択し、その受光信号情報が表す画像を初期画像として表示してもよい。この場合の初期画像は、図８のステップＳ６０において主要被写体にピントが合うように焦点調節されたレンズ光学系１による結像面に対応する撮像画像、すなわち像面のずれ量が０の撮像画像である。

ステップＳ１２０において、制御装置１８は、撮像画像の合成を行う際のピント合わせ位置をステップＳ１１０で表示した初期画像において設定する。ここでは、たとえばカメラに設けられた不図示の操作ボタンの操作によりユーザが初期画像上の任意の位置を指定すると、その位置をピント合わせ位置に設定する。あるいは、初期画像上のいずれの位置をカメラが自動的に選択し、ピント合わせ位置に設定してもよい。

ステップＳ１３０において、制御装置１８は、ステップＳ１１０で読み出された撮像画像情報と関連付けてメモリーカードに記録された被写体情報の中から、ステップＳ１２０
で設定したピント合わせ位置に対応する被写体情報を抽出する。すなわち、設定されたピント合わせ位置に対して、対応する被写体領域の位置、数、大きさなどの情報を抽出する。さらに、その被写体領域に対して設定された焦点検出領域と、その焦点検出領域に対して検出されたデフォーカス量の情報を抽出する。

ステップＳ１４０において、制御装置１８は、ステップＳ１３０で抽出した被写体情報が示すデフォーカス量に基づいて、撮像画像を合成する像面の位置を決定する。なお、複数のデフォーカス量の情報が被写体情報として抽出された場合は、それらの平均値、最小値、最大値などを代表デフォーカス量として算出し、撮像画像を合成する像面の位置を決定してもよい。

ステップＳ１５０において、制御装置１８は、撮像画像を合成する際の絞りを設定する。この絞りの設定は、たとえばカメラに設けられた不図示の操作ボタンをユーザが操作することによって行われる。あるいは、カメラが自動的に絞りを設定してもよい。

ステップＳ１６０において、制御装置１８は、画像生成部１７により、ステップＳ１４０で決定した像面位置に対応する撮像画像を表示するための画像信号を生成する。ここでは、決定した像面位置における像面のずれ量に対応する、ステップＳ１３０で抽出した被写体情報が示すデフォーカス量に基づいて、図６で説明したような方法により、撮像画像情報が表す各画素の受光素子による受光信号のうちの一部を選択する。このとき、ステップＳ１５０で設定した絞りに応じて、受光信号の選択対象とする受光素子の数を決定する。こうして選択した受光信号に基づいて画像信号を生成することにより、ピント合わせ位置に設定された被写体にピントの合った撮像画像が合成される。

ステップＳ１７０において、制御装置１８は、ステップＳ１６０で生成された画像信号に基づく撮像画像を表示部１９に再生表示する。ステップＳ１７０を実行したら、制御装置１８は図９のフローチャートを終了する。以上説明したようにして画像合成処理が行われる。

以上説明した実施の形態によれば、次の作用効果を奏することができる。

（１）制御装置１８は、図８の撮影処理において、撮像素子６からの受光信号を得た際のレンズ光学系１による像面のずれ量を示すデフォーカス量を検出する（ステップＳ５０）。また、図９の画像合成処理において、ピント合わせ位置に対応する被写体情報を抽出し（ステップＳ１３０）、抽出した被写体情報におけるデフォーカス量に基づいて、撮像画像情報としてメモリーカードに記録された撮像素子６の各受光素子からの複数の受光信号の一部を図６に示すようにして選択し、選択した該一部の受光信号に基づいて画像信号を生成する（ステップＳ１６０）。こうして画像信号を生成することで撮像画像の合成を行うようにしたので、撮影データから撮影後に任意の距離にある被写体にピントの合った像面の画像を合成する際に、画像合成の対象とする像面を迅速に設定することができる。

（２）制御装置１８は、レンズ光学系１による像面内に焦点検出領域を設定することで、ステップＳ５０でデフォーカス量を検出する対象とする像面内の位置を特定する（ステップＳ４０）。ステップＳ１６０では、こうして焦点検出領域として特定された像面内の位置に対するデフォーカス量に基づいて、複数の受光信号の一部を選択する。このようにしたので、像面内の適切な位置に対してデフォーカス量を検出し、撮像画像の合成を行うことができる。

（３）制御装置１８は、レンズ光学系１による像のうちの特定の像を被写体として認識する（ステップＳ３０）。こうして認識された被写体の位置に対してステップＳ４０で設定
された焦点検出領域のデフォーカス量を、ステップＳ５０において検出する。したがって、像面内の被写体に対するデフォーカス量を自動的に検出することができる。

（４）制御装置１８は、ステップＳ３０において、認識した被写体に基づいてレンズ光学系１による像面を複数の被写体領域に区分する。こうして区分された各被写体領域に対してステップＳ４０で設定された焦点検出領域のデフォーカス量を、ステップＳ５０において検出する。このようにしたので、複数の被写体が像面内にある場合に、それぞれの被写体に対するデフォーカス量を確実に検出することができる。

（５）制御装置１８は、ステップＳ３０で区分された被写体領域の大きさが像面の所定割合以上である場合に、その被写体領域に対してステップＳ４０で設定された複数の焦点検出領域にそれぞれ対応する複数のデフォーカス量を、ステップＳ５０において検出する。したがって、像面内に占める領域の割合に応じて適切な数のデフォーカス量を検出することができる。

（６）制御装置１８はまた、撮像素子６からの受光信号に基づくレンズ光学系１の像のうち所定値以上のコントラストを有する像の位置に対して、ステップＳ４０において焦点検出領域を設定し、ステップＳ５０においてデフォーカス量を検出してもよい。このようにすれば、信頼性の高いデフォーカス量を検出することができる。

（７）制御装置１８は、ステップＳ５０で検出されたデフォーカス量に基づいてレンズ光学系１の焦点調節を行う（ステップＳ６０）。こうして焦点調節が行われたレンズ光学系１からの光束を受光した撮像素子６により出力され、撮像画像情報として記録された受光信号に基づいて、ステップＳ１６０において画像信号を生成する。このようにしたので、撮影時にレンズ光学系１の焦点調節を適切に行うことができる。

なお、上記実施の形態では、ステップＳ３０において撮像素子６から出力される受光信号に基づいて被写体を認識しているが、測光センサ１６から出力される測光信号に基づいて被写体を認識してもよい。あるいは、撮像素子６や測光センサ１６とは別に被写体認識用の撮像素子をカメラ内に設け、これを用いて撮像した画像情報に基づいて被写体を認識してもよい。

また、図９のフローチャートに示す画像合成処理を上記実施の形態で説明したカメラ以外の画像合成装置において行うようにしてもよい。この場合、画像合成処理を実行するためのプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどの電気通信回線を通じて画像合成装置に提供することができる。図１０は、パーソナルコンピュータを画像合成装置として使用する例を示している。パーソナルコンピュータ１００は、ＣＤ−ＲＯＭ１０１を介してプログラムの提供を受ける。あるいは、パーソナルコンピュータ１００は通信回線１０４との接続機能を有し、サーバ１０３から上記のプログラムを提供されることとしてもよい。通信回線１０４は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。サーバ１０３は、通信回線１０４を介してプログラムをパーソナルコンピュータ１００に送信する。すなわち、プログラムを搬送波上のデータ信号に変換して、通信回線１０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

上記のパーソナルコンピュータ１００には、図８の撮影処理をカメラの制御装置１８が実行することによって撮像画像情報および被写体情報が記録された記録媒体１０２が装填される。パーソナルコンピュータ１００は、ＣＤ−ＲＯＭ１０１またはサーバ１０３から提供されたプログラムを実行することにより、撮像画像情報および被写体情報を記録媒体
１０２から読み出し、読み出された撮像画像情報および被写体情報に基づいて図９の画像合成処理を実行することで、任意の像面位置にピントの合った撮像画像を合成してディスプレイに表示する。

以上説明した実施の形態および各種の変形例は、あくまで本発明の実施の形態の一例である。したがって、発明を解釈する際、上記の記載事項と特許請求の範囲の記載事項の対応関係には何ら限定も拘束もされない。また、発明の特徴が損なわれない限り、本発明は上記の記載内容に限定されるものでもない。

１ レンズ光学系
６ 撮像素子
７ 焦点検出光学系
９ 被写体認識部
１０ 焦点検出領域設定部
１１ 焦点検出演算部
１２ レンズ駆動量演算部
１３ レンズ駆動制御部
１７ 画像生成部
１８ 制御装置

Claims (11)

1. 複数のマイクロレンズを配列したマイクロレンズアレイと、
   前記複数のマイクロレンズに対して複数の受光素子を有し、光学系からの光束を前記マイクロレンズを介して受光して複数の受光信号を出力する受光素子アレイと、
   前記受光信号を得た際の前記光学系による像面のずれ量を検出する検出手段と、
   前記検出手段によって検出されたずれ量に基づいて前記複数の受光信号の一部を選択し、選択した該一部の受光信号に基づいて画像信号を生成する画像生成手段とを備えることを特徴とする画像合成装置。
2. 請求項１に記載の画像合成装置において、
   前記光学系による像面内の、前記検出手段によってずれ量を検出する対象とする位置を特定する特定手段を備え、
   前記画像生成手段は、前記特定手段によって特定された前記位置に対する前記像面のずれ量に基づいて前記複数の受光信号の一部を選択することを特徴とする画像合成装置。
3. 請求項２に記載の画像合成装置において、
   前記特定手段は、前記光学系による像のうちの特定の像を認識する認識手段を有し、
   前記検出手段は、前記認識手段によって認識された像の位置に対する前記像面のずれ量を検出することを特徴とする画像合成装置。
4. 請求項３に記載の画像合成装置において、
   前記認識手段は、認識した前記特定の像に基づいて前記光学系による像面を複数領域に区分し、
   前記検出手段は、前記認識手段によって区分された前記領域に対する前記像面のずれ量を検出することを特徴とする画像合成装置。
5. 請求項４に記載の画像合成装置において、
   前記検出手段は、前記認識手段によって区分された前記領域の大きさが前記像面の所定割合以上である場合に、前記領域に対して複数の前記像面のずれ量を検出することを特徴とする画像合成装置。
6. 請求項１〜５のいずれか一項に記載の画像合成装置において、
   前記検出手段は、前記受光信号に基づく前記光学系の像のうち所定値以上のコントラストを有する像の位置に対して前記像面のずれ量を検出することを特徴とする画像合成装置。
7. 請求項１〜６のいずれか一項に記載の画像合成装置と、
   前記光学系とを備えることを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記検出手段により検出された前記像面のずれ量に基づいて前記光学系の焦点調節を行う焦点調節手段をさらに備え、
   前記画像生成手段は、前記焦点調節手段により焦点調節が行われた前記光学系からの光束を受光した前記受光素子アレイにより出力される前記受光信号に基づいて、前記画像信号を生成することを特徴とする撮像装置。
9. 光学系からの光束を、複数のマイクロレンズに対して配置された複数の受光素子によって受光することにより複数の受光信号を得て、
   前記受光信号を得た際の前記光学系による像面のずれ量を検出し、
   検出した前記像面のずれ量に基づいて前記複数の受光信号の一部を選択し、該一部の受光信号に基づいて画像信号を生成する画像合成方法。
10. 請求項９に記載の画像合成方法において、
    前記光学系による像面内の、前記像面のずれ量を検出する対象とする位置を特定し、
    前記特定された位置に対する前記像面のずれ量に基づいて前記複数の受光信号の一部を選択することを特徴とする画像合成方法。
11. 請求項１０に記載の画像合成方法において、
    前記光学系による像のうちの特定の像を認識することにより、前記像面のずれ量を検出する対象とする位置を特定し、
    認識された前記特定の像の位置に対して前記像面のずれ量を検出することを特徴とする画像合成方法。

Images