JP2009258610A - 焦点距離検出装置及び撮像装置及び撮像方法及びカメラ及び合焦装置及び合焦方法 - Google Patents

Abstract

【課題】焦点距離情報（合焦情報）の検出の迅速化、装置全体の小型化、低コスト化を図ることのできる焦点距離検出装置を提供する。
【解決手段】撮像光学系がメインレンズ１０を経て入射する各入射光束を光電変換してそれぞれ画素データとして出力する複数個の画素の集合からなる撮像素子１３と、この撮像素子１３の前面でこの撮像素子１３の画素領域毎に設けられメインレンズ１０の異なる射出瞳位置を経て画素領域の各画素に入射すべき入射光束を規定する光学素子配列体１２と、それら光学素子配列体１２と撮像素子１３とメインレンズ１０との距離を一定に保持した状態でメインレンズ１０に入射する入射光束に基づき得られる画素データを選択することによりメインレンズ１０に対する想定距離毎に合焦状態が互いに異なる複数個の想定合焦画像を生成する想定合焦画像生成手段と、生成された想定合焦画像の合焦状態を評価する合焦評価値取得手段とを備える。
【選択図】図４

Description

本発明は、被写界像を複数個の画素の集合からなる撮像素子で撮像するのに用いる焦点距離検出装置、撮像装置、撮像方法及びその焦点距離検出装置を有するカメラに関し、とりわけ、合焦情報の検出の迅速化、装置全体の小型化、低コスト化を図ることのできる焦点距離検出装置及び撮像装置及び撮像方法及びカメラ及び合焦装置及び合焦方法に関する。

従来から、ＡＦ方式のデジタルカメラでは、撮像素子を内部に有するので、撮像素子の画像データからコントラスト値（合焦評価値）を算出し、メインレンズの位置を変化させながらコントラスト値が最も高いレンズ位置を最も合焦状態にあると評価するいわゆる山登り方式を採用している。

しかしながら、山登り方式では、実際にメインレンズを駆動してレンズの合焦目標位置を見つけ出さなければならないので、とくに、メインレンズが長焦点の場合、メインレンズの駆動量が大きくならざるを得ず、自動合焦制御の時間が長くなる。

また、三角測距方式を用いて自動合焦を行うカメラも知られている。この三角測距方式のカメラでは、メインレンズとは別の光学系を用いて三角測量により被写体までの距離を測距するものである。

この三角測距方式によれば、メインレンズを駆動することなく被写体に対する測距データを取得して、メインレンズの合焦目標位置を演算により求めることができるので、メインレンズを被写体に対する合焦目標位置に高速に駆動できる。

しかしながら、三角測距方式では、遠距離側で測距精度が劣化するという不都合がある。このため、ズーム倍率の大きなデジタルカメラには不向きであるという不都合がある。

更に、山登り方式と三角測距方式とを併用するデジタルカメラも提案されている（例えば、特許文献１参照。）。このものは、山登り方式が有する短所と三角測距方式が有する短所とを解消できはするが、メインレンズとは別の光学系や測定素子を必要とするので、小型化しずらく、また、部品点数、組立工数が増えるので、高価になるという問題がある。

更に、位相差方式を用いて自動合焦を行うカメラも知られている。一眼レフレックスタイプのカメラでは、この位相差方式のものが多い。この位相差方式は、メインレンズを通過した光束をハーフミラーを用いて別光学系に導き、画像生成用の撮像素子とは別途に設けられている受光素子により、メインレンズの合焦目標位置からのズレを検出するものである。

この位相差方式のものも、メインレンズの合焦位置からのズレの方向及びズレ量をメインレンズを駆動することなく検出できるので、メインレンズを被写体に対する合焦位置に高速に駆動できる。

この位相差方式ものでは、マイクロレンズアレイとこのマイクロレンズアレイ直下に配置のフォトセンサとにより瞳分割光学系を構成し、メインレンズに対する瞳分割を行い、この瞳分割により得られた画像により、メインレンズの合焦目標位置を検出する方式も提案されている（例えば、特許文献２参照）。
特開２００４−２７９６８３号公報 特開２００２−１６５１２６号公報

その特許文献２に開示のものでは、メインレンズを合焦目標位置に駆動するまでの合焦時間が短く、また、省スペース化を図ることができ、しかも、部品点数の追加も少ないという長所がある。

ところが、この位相差方式では、メインレンズからの光束を視差を有する二つの像光束に分割し、その二つの像光束に基づく像のずれ量から、メインレンズの合焦目標位置に対するズレ量を求める方式であり、被写体像のコントラストにより合焦目標位置に対するズレ量を判断しているので、メインレンズを通して得られた二つの像が大きくぼけている場合には、メインレンズの合焦目標位置からのズレ量を正確に求めることができないという不都合がある。

この特許文献２に開示のものでは、大きくぼけた状態での各瞳位置からの光の強度分布が位相ずれ方向に対して相似性がないことについて、撮像素子の一対のフォトセンサ間の感度分布をオーバラップさせることにより改善し、焦点検出精度の向上を図っている。

しかしながら、この特許文献２に開示のものでは、撮像素子の構造を変えなければならず、汎用性のある撮像素子と構造が異なるため、その製造コストが高くなるという不都合がある。

なお、焦点距離検出機能（合焦検出機能）を有するカメラでは、被写体の特徴部を検出して、この特徴部に合焦させるために、メインレンズを制御するという制御を行う構成のものもあるが、像が大きくぼけた状態では、被写体の特徴部の検出も困難である。

本発明は、上記の事情に鑑みて為されたもので、その目的は、焦点距離情報（合焦情報）の検出の迅速化、装置全体の小型化、低コスト化を図ることのできる焦点距離検出装置及び撮像装置及び撮像方法及びカメラ及び合焦装置及び合焦方法を提供することにある。

本発明の特徴は、撮像光学系が主光学系を経て入射する各入射光束を光電変換してそれぞれ画素データとして出力する複数個の画素の集合からなる撮像素子と、該撮像素子の前面で該撮像素子の画素領域毎に光学素子が設けられしかも前記主光学系の異なる射出瞳位置を経て前記画素領域の各画素に入射すべき入射光束を規定する光学素子配列体とを含み、焦点距離検出手段が、該光学素子配列体とこれに配置された撮像素子と前記主光学系との距離を一定に保持した状態で該主光学系に入射する入射光束に基づき得られる前記各画素の画素データを選択して抽出処理することにより前記主光学系に対する想定距離毎に合焦状態が互いに異なる複数個の想定合焦画像を生成する想定合焦画像生成手段と、該想定合焦画像生成手段により生成された想定合焦画像の合焦状態を評価する合焦評価値取得手段とを備えているところにある。
本発明の装置をより概念的に表現すると、本発明の装置は、撮像光学系を通して入射する光を光電変換して画素データとして出力する複数の画素を有してなる受光部を備える撮像素子と、画素データに基づいて被写界像の合焦情報を得る合焦情報取得手段とを備えた合焦装置において、撮像素子の受光部の受光面上に配列される複数の光学素子が設けられた光学素子配列部材を有し、光学素子はそれぞれ、所定の複数の画素にわたって撮像素子の受光部を覆い、合焦情報取得手段は、所定の複数の画素のうちの一部の画素の画素データに基づいて被写界像の合焦情報を得ることを特徴とする。
その合焦装置は、前記合焦情報取得手段が得た合焦情報に基づいて撮像光学系の焦点距離を設定し、設定された焦点距離に撮像光学系の焦点距離を変更する焦点距離変更手段を備える。また、この焦点距離変更手段により変更された焦点距離において撮像が行われる。
本発明の方法をより概念的に表現すると、撮像光学系を通して入射する光を光電変換して画素データとして出力する複数の画素を有してなる受光部からの当該画素データに基づいて被写界像の合焦情報を取得する合焦方法であって、前記受光部の受光面上に配列されてなる複数の光学素子によって覆われた所定の複数の画素のうちの一部の画素の画素データに基づいて前記被写界像の合焦情報を得ることを特徴とする。
その得られた合焦情報に基づいて前記撮像光学系の焦点距離が設定され、設定された焦点距離に撮像光学系の焦点距離が変更される。
また、この合焦方法により変更された焦点距離において撮像が行われる。

撮像素子はＣＣＤ又はＣＭＯＳセンサから構成するのが望ましく、光学素子配列体はマイクロレンズが規則的に配列されたマイクロレンズアレイ板から構成するのが望ましい。

マイクロレンズアレイ板は、マイクロレンズが一列に規則的に配列された１個のマイクロレンズアレイを有するか、又は、マイクロレンズの配列方向に対して直交する方向に間隔を開けて配列された複数個のマイクロレンズアレイを有し、マイクロレンズ板はマイクロレンズアレイを除く平面部が主光学系からの光束が直接入射する透過平面部とされているのが望ましい。

また、撮像光学系は、主光学系の後方に設けられた跳ね上げミラーを有し、この跳ね上げミラーに関してマイクロレンズアレイ板が前面に設けられかつマイクロレンズによって全面が覆われている想定合焦画像生成用撮像素子とは別にマイクロレンズアレイ板で被覆されていない被写体画像記録用撮像素子が設けられていても良い。この被写体画像記録用撮像素子は想定合焦画像生成用撮像素子と跳ね上げミラーに関して光学的に共役な位置にあるのが望ましい。

マイクロレンズの主点を通る入射光束はこのマイクロレンズに覆われている画素領域の各画素にそれぞれ対応づけられ、マイクロレンズの焦点距離位置に撮像素子が設けられていることが更に望ましい。

本発明によれば、被写体に対して主光学系を駆動することなく、被写体に対する合焦評価値を取得できるので、焦点距離検出情報（合焦情報）の検出の迅速化を図ることができる。本発明を撮像装置、カメラ及び合焦装置及び合焦方法に適用すれば、装置全体の小型化、低コスト化を図ることができる。

また、このようにして得られた合焦目標位置に実際に主光学系を駆動して撮影を実行すれば、被写体に合焦したピントの合った静止画画像を得ることができる。

主光学系の中央部分のみを通る光束に基づき得られる焦点深度の広い状態に対応する想定距離毎の想定合焦画像を画素データを選択して抽出することにより生成し、焦点深度の広い状態に対応する想定合焦画像に基づき想定距離毎に合焦評価値を取得し、想定距離毎に得られた各合焦評価値の最大値に基づきこの最大値が得られた想定距離の近傍で複数個の想定距離を細かく設定し、設定された想定距離毎に主光学系の中央部を含みかつ少なくともこれよりは広い範囲を通る光束に基づき得られる焦点深度の狭い状態に対応する想定合焦画像の画素データを選択して抽出することにより生成して焦点深度の狭い状態に対応する想定合焦画像に基づき合焦評価値を取得することにすれば、想定距離毎に生成すべき想定合焦画像の個数を省略でき、焦点距離検出時間の短縮を図ることができる。

この合焦状態が互いに異なる想定距離毎の想定合焦画像に基づいて被写体の特徴部分を抽出することにすれば、被写体に対して主光学系が合焦していなくとも、主光学系を駆動することなく、被写体の特徴部分の抽出を精度良く行うことができる。

主光学系を駆動することなく想定距離毎に生成された想定合焦画像のエリア毎に合焦状態を評価し、各エリア毎の合焦目標位置を決定し、エリア毎に得られた合焦目標位置に基づき主光学系を駆動することにすれば、いわゆるフォーカスブラケット撮影を迅速に実行可能となる。

主要被写体に対する背景画像の画像ぼけに関する補正処理を行うために、静止画画像を複数個のエリアに分割してこのエリア毎にかつ想定距離毎に想定合焦画像を生成してエリア毎にこの想定合焦画像に対応する合焦評価値を取得し、このエリア毎に取得された合焦評価値と焦点距離検出手段により得られた合焦評価値とに基づき主要被写体に対する背景画像のデフォーカス量を演算し、このデフォーカス量に基づき主要被写体に対する背景画像の補正処理を行うことにすれば、ぼけに関する画像補正処理を迅速に行うことができる。

以下に、本発明に係わる焦点検出装置及び焦点検出方法及びこの焦点検出装置を用いた撮像装置について説明する。

（本発明が適用されるデジタルカメラの全体構成の概略説明）
まず、最初に、本発明が適用される撮像装置の全体構成を概略説明する。

図１は本発明が適用される撮像装置としてのデジタルカメラ１を示す正面図、図２はそのデジタルカメラ１の内部のシステム構成の概要を示すブロック回路図である。

デジタルカメラ１の上部には、図１に示すように、レリーズスイッチＳＷ１、モードダイアルＳＷ２、サブＬＣＤ（図示を略す）が配設されている。カメラ１の正面には、鏡胴ユニット４、光学ファインダ、ストロボ発光部等が設けられている。

デジタルカメラ１の内部には、そのシステム回路が内蔵されている。図２において、１０４はデジタルスチルカメラプロセッサ（以下、プロセッサという）である。プロセッサ１０４は、ＣＣＤ１信号処理ブロック１０４１、ＣＣＤ２信号処理ブロック１０４２、ＣＰＵブロック１０４３、ローカルＳＲＡＭ１０４４、ＵＳＢブロック１０４５、シリアルブロック１０４６、ＪＰＥＧ・ＣＯＤＥＣブロック１０４７、ＲＥＳＩＺＥブロック１０４８、ＴＶ信号表示ブロック１０４９、メモリカードコントローラブロック１０４１０、音声ブロック１０４１２を有している。これらの各ブロックは相互にバスラインで接続されている。

プロセッサ１０４の外部にはＳＤＲＡＭ１０３が配置され、このＳＤＲＡＭ１０３はプロセッサ１０４にメモリコントローラ（図示を略す）、バスラインを介して接続されている。

このＳＤＲＡＭ１０３は、撮像素子（例えば、ＣＣＤ）１０１から取り込んだ撮影画像を一時的に記憶する機能を有する。プロセッサ１０４の外部には、更に、内蔵メモリ１０７、制御プログラムが格納されたＲＯＭ（図示を略す）等が設けられ、これらもバスラインによってプロセッサ１０４に接続されている。制御プログラムはカメラの起動時にＲＯＭから読み出される。

鏡筒ユニット４は、ズームレンズ４１ａを有するズーム光学系４１、フォーカスレンズ４２ａを有するフォーカス光学系４２、絞り４３ａを有する絞りユニット４３、メカニカルシャッター４４ａを有するメカニカルシャッター光学系４４を備えている。

ズーム光学系４１、フォーカス光学系４２、絞りユニット４３、メカニカルシャッター光学系４４は、ズームモータ４１ｂ、フォーカスモータ４２ｂ、絞りモータ４３ｂ、メカニカルシャッターモータ４４ｂによってそれぞれ駆動される。これらの各モータはモータドライバ４５によって駆動され、このモータドライバ４５はプロセッサ１０４のＣＰＵブロック１０４３によって制御される。

鏡胴ユニット４の光学系を介して撮像素子（ＣＣＤ）１０１に入射光束が導かれ、撮像素子（ＣＣＤ）１０１は入射光束を光電変換してＦ／Ｅ−ＩＣ１０２に光電変換信号を出力する。Ｆ／Ｅ−ＩＣ１０２は周知のＣＤＳ１０２１、ＡＧＣ１０２２、Ａ／Ｄ変換部１０２３から構成されている。

Ｆ／Ｅ−ＩＣ１０２はその光電変換信号に所定の処理を施し、デジタル信号に変換してプロセッサ１０４のＣＣＤ１信号処理ブロック１０４１に向けてこのデジタル信号を出力する。これらの信号制御処理は、プロセッサ１０４のＣＣＤ１信号処理ブロック１０４１から出力されるＶＤ・ＨＤ信号によりＴＧジェネレータ１０２４を介して行われる。

ＣＰＵブロック１０４３は、ストロボ回路１０６を制御することによってストロボ発光部から照明光を発光させる。これに加えて、ＣＰＵブロック１０４３は、測距ユニットも制御する。ＣＰＵブロック１０４３は、プロセッサ１０４のサブＣＰＵ１０５に接続され、サブＣＰＵ１０５はＣＣＤドライバを介してサブＬＣＤ（図示を略す）の表示制御を行う。サブＣＰＵ１０５は、更に、各操作スイッチからなる操作キーユニットＳＷ１−ＳＷ１５に接続されている。この操作キーユニットＳＷ１−ＳＷ１５にはレリーズスイッチＳＷ１、モードダイアルＳＷ２等も含まれる。ＴＶ表示ブロック１０４９は、ＬＣＤドライバ１０８を介してＬＣＤモニタに接続されると共に、ビデオアンプリファイア１０９を介してビデオジャックに接続されている。その他の回路ブロックの作用も公知であるので、これ以上の説明は省略する。
（本発明が適用されるデジタルカメラ１のメイン処理の動作の概略）
モードダイアルＳＷ２を記録モードに設定すると、デジタルカメラ１が記録モードで起動される。モードダイアルＳＷ２の設定は、モードスイッチの状態が記録モードがオンになったか否かをプロセッサ１０４が検知することにより行う。

プロセッサ１０４はモータドライバ４５を制御し、鏡筒ユニット４を撮影可能な位置に移動させる。更に、プロセッサ１０４はＣＣＤ１０１、Ｆ／Ｅ−ＩＣ１０２、ＬＣＤモニタ等の各回路に電源を投入して動作を開始させる。各回路の電源が投入されると、ファインダモードの動作（モニタリング処理）が開始される。

ファインダモードでは、鏡胴ユニット４の光学系を通して撮像素子（ＣＣＤ）１０１に入射した入射光束が光電変換されて、Ｒ、Ｇ、Ｂのアナログ信号としてＣＤＳ回路１０２１、Ａ／Ｄ変換器１０２３に送られる。Ａ／Ｄ変換器１０２３はそのアナログ信号をデジタル変換し、そのデジタル信号はデジタル信号処理ＩＣ（ＳＤＲＡＭ１０３）内のＹＵＶ変換部でＹＵＶ信号に変換され、図示を略すメモリコントローラによってフレームメモリに書き込まれる。このＹＵＶ信号はメモリコントローラによって読み出され、ＴＶ表示信号ブロック１０４９を介してＴＶ（図示を略す）やＬＣＤモニタへ送られる。

これらのメイン処理の概略動作処理を、図３に示すフローチャートを用いて説明すると、記録モードでは、デジタルカメラ１の電源がオンされると、デジタルカメラ１の内部のハードウエアの初期化、カード内のファイル情報が内蔵メモリ１０７に作成される等の初期化が行われる。また、デジタルカメラ１がモニタリング判定状態となる（Ｓ．１）。デジタルカメラ１がモニタリング中の場合、キー操作の判定を行い（Ｓ．２）、モニターリング停止中の場合、スルー開始処理が実行され（Ｓ．３）、スルー画像がＬＣＤモニタに表示される。また、ストロボ撮影モードが選択されている場合には、スルー開始処理の実行後、ストロボ充電完了チェックが実行され（Ｓ．４）、充電が必要なときには充電開始処理を実行した後（Ｓ．５）、キー操作の判定処理を行う（Ｓ．２）。このモニタリング処理は、スルー画像を適正な色合い、明るさに保つために実行されるものであり、例えば、２０ｍｓ毎の定期的なタイマー割り込み処理によって実行される。

すなわち、モニタリング処理では、プロセッサ１０４は撮像素子（ＣＣＤ１０１）１３からの光電変換信号に基づいて、露光量評価値ＡＥ、ホワイトバランス評価値ＡＷＢを演算し、これらの評価値が所定の値となるようにＴＧジェネレータ１０２４によりＣＣＤ１０１の電子シャッター駆動タイミングを設定する。ＣＣＤ１０１の電子シャッター駆動時間には上限と下限とがあり、被写体の輝度に応じて、電子シャッター駆動タイミングのみでは露光オーバー、露光アンダーを解消できない場合には、プロセッサ１０４は絞り４３aの開口径を変更したり、ＡＧＣ１０２２により増幅率を変更したりして、適正な露光量が得られる処理を行う。また、AWBパラメータの調節処理も行う。

Ｓ．２において、レリーズスイッチＳＷ１の第１段がオンされると、プロセッサ１０４はモニタリング停止処理を行った後（S.６）、AE処理（S.7）、ＡＦ（焦点検出）処理（S.8）を実行する。なお、S.2の操作スイッチの判定処理も、例えば、２０ｍｓ毎の定期的割り込み処理時に行う。S.2において、レリーズスイッチSW１の第２段がオンされると、プロセッサ１０４はモニタリング停止処理（S.９）を行った後、静止画記録処理を実行する（S.１０）。

その他のキー操作スイッチが操作されたときには、その操作されたキー操作スイッチが有する機能を実行するための処理が実行され（S.11）、何もキー操作スイッチが操作されないときには、無効操作であるとして、S.1に戻り、S.１以降の処理を繰り返す。

AE処理（S.7）では、露光量の評価値が取得され、CCDの露光時間が設定されると共に、AGC１０２２の増幅率が設定される。AF処理（S.8）では後述する焦点検出処理が実行される。
（本発明が適用される光学系の構成の模式図）
図４は本発明に係わる撮像装置の撮像光学系の模式図である。この図４において、符号１０はメインレンズ、符号１１は絞り板、符号１２は光学素子配列体、符号１３は撮像素子である。ここで、メインレンズ１０とは鏡胴ユニット４内に配置のズーム光学系４１、フォーカス光学系４２、絞りユニット４３、メカシャッタユニット４４を総称していうものとする。実際のメインレンズ１０は、例えば、図５に示す第１のズーム群Ｇ１と第２のズーム群Ｇ２とフォーカス群Ｇ３と第４群Ｇ４と絞り板１１とから構成されているが、幾何光学的には一つのレンズとして取り扱うことができるからである。この意味で、メインレンズ１０は一枚のレンズからなる光学系であっても良いし、複数枚のレンズからなる光学系であっても良く、特許請求の範囲では１枚のレンズでも複数枚のレンズでも良いという意味で、メインレンズ１０を「主光学系」と表現している。

絞り板１１は例えば複数の互いに径が異なる開口１１ａを有するターレット板から構成され、符号Ｏ1はそのターレット板の回転軸、符号Ｏ2はメインレンズ１０の光軸を示している。なお、本発明に係わる仮合焦像生成の際には、絞り板１１は最大径を有する開口１１ａがメインレンズ１０の光路に挿入される。

光学素子配列体（光学素子配列部材）１２は、撮像素子１３の前部に設けられている。ここでは、光学素子配列体１２は図６に示すマイクロレンズアレイ板からなり、符号１２i（ｉ＝１ないしｎ；ｎは正の整数）は各マイクロレンズを示している。撮像素子１３は例えばＣＣＤ１０１、ＣＭＯＳセンサ等から構成される。その撮像素子１３はメインレンズ１０を経て入射する各入射光束を光電変換して、それぞれデータとして出力する複数個の画素の集合からなる。なお、ここでいう光学素子配列体１２の各マイクロレンズ１２iは、高解像度（高画素数化）のために１画素当たりの受光面積が小さくなったことによる光量不足を補うために各画素毎にこれと一体に組み込まれている集光用のマイクロレンズとは別物である。

各マイクロレンズ１２iは、図７（ａ）、（ｂ）に示すように、ここでは、縦横９×９の画素からなる各画素領域１４に対応して各１個設けられている。各マイクロレンズ１２iはメインレンズ１０の異なる射出瞳位置を経て画素領域１４の各画素に入射する入射光束の角度を各マイクロレンズ１２iの主点ｑを通る光束によって規定するために、各画素領域１４はマイクロレンズ１２iの焦点距離ｆの位置に配置され、画素ピッチｐｈを２μとすると、１個のマイクロレンズ１２iに対応する画素数が９個であるので、対応する画素列の長さは１８μｍ、メインレンズ１０の開放Ｆナンバーを２．８とすると、１つのマイクロレンズ１２iの焦点距離ｆは、ｆ／１８＝２．８の式により、５０．４μｍとなる。従って、この実施例では、各マイクロレンズ１２iの直径は１８μｍ、焦点距離ｆは５０．４μｍである。 画素領域１４が正方形であるので、実際には、各マイクロレンズ１２ｉは図７（ｂ）に示すように周辺部が切除されかつ正面から見た場合に正方形状を呈している。

図７（ａ）はそのメインレンズ１０とマイクロレンズ１２iと入射光線ｉｎとの関係を模式的に示し、ｉｎ1はメインレンズ１０の光軸に対する高さ位置に相当する射出瞳位置Ｆ１１に入射する入射光線、ｉｎ2は射出瞳位置Ｆ２．８に入射する入射光線を示している。画素領域１４の各画素はマイクロレンズ１２iによってメインレンズ１０の各射出瞳位置に関連づけられ、図７（ａ）においては、画素ｎ1が射出瞳位置Ｆ２．８に入射する入射光線ｉｎ2を受光し、画素ｎ4が射出瞳位置Ｆ１１に入射する入射光線ｉｎ1を受光している状態が示されている。メインレンズ１０の射出瞳は、この例では、マイクロレンズ１２iによって、８１個の射出瞳位置に分割される。

その図７（ａ）では、１個のマイクロレンズ１２iと１個の画素領域１４とがメインレンズ１０の光軸Ｏ2上に存在する場合について説明したが、光軸Ｏ2上にない他のマイクロレンズ１２iとこの直背後の画素領域１４との関係についても同様である。従って、全てのマイクロレンズ１２iとこの直背後の画素領域１４とについて、メインレンズ１０の各射出同位置に入射した光線とこの入射光線を受光する画素とが定まる。

このように、メインレンズ１０の各射出瞳位置に入射しかつ各マイクロレンズ１２iの主点ｑを通る入射光束とこのマイクロレンズ１２iに対応する画素領域１４内の各画素とが関連づけられている。

以下に、本発明の原理を説明する。
（本発明の原理）
図８は本発明の原理を説明するための模式図であって、この図８には、メインレンズ１０を経て射出瞳位置Ｆ２．８の点ａに入射する入射光束とマイクロレンズ１２iのうちのＭＬα、ＭＬβとこのマイクロレンズＭＬα、ＭＬβの直背後の画素領域との関係が示されている。マイクロレンズＭＬαに対応する画素領域１４の第ｎ番目の画素は入射光束inαを受光し、マイクロレンズＭＬβに対応する画素領域の第ｍ番目の画素は入射光束inβを受光する。このマイクロレンズＭＬα、ＭＬβとの間に存在するマイクロレンズ１２iについても点ａを通ってかつマイクロレンズ１２iの主点ｑを通る入射光束を受光する画素が存在するので、これらの画素に基づく画素データを適切に選択して配列すれば、メインレンズ１０の射出瞳位置Ｆ２．８の点ａを通過する被写界の像を生成することができる。このようにメインレンズ１０の各射出瞳位置から射出されかつマイクロレンズ１２iに入射ししかもこのマイクロレンズ１２iの主点ｑを通る入射光束を受光する画素の画素データを用いてメインレンズ１０の各射出瞳位置に対応する被写界の像を生成する処理を像の再構成という。

すなわち、図９に示すように、メインレンズ１０から距離ｆｍの箇所にマイクロレンズ１２₁、１２₂、…、１２_i、…１２_xがちょう密に配置され、このマイクロレンズ１２_iの直背後に複数個の画素からなる撮像素子１３が配置されているものとする。この画素の寸法は説明の便宜のため限りなく小さいと仮定する。マイクロレンズアレイ板１２が配設されていない場合には、各画素はメインレンズ１０の射出瞳の全面から射出される入射光束を受光する。マイクロレンズアレイ板１２が配置されている場合には、射出瞳の点ａから射出される各入射光束が入射する画素が各マイクロレンズアレイ１２_iによって規定される。この図９には、画素Ｎａ₁はマクロレンズ１２₁の主点ｑを通る入射光束in1を受光し、画素Ｎａ₂はマイクロレンズ３₂の主点ｑを通る入射光束in2を受光し、画素Ｎａ_iはマイクロレンズ１２_iの主点ｑを通る入射光束iniを受光し、画素Ｎａ_xはマイクロレンズ１２_xのレンズ主点ｑを通る入射光束inxを受光している状態が示されている。

従って、メインレンズ１０とマイクロレンズアレイ板１２との距離ｆｍが決まると、各射出瞳位置毎に各マイクロレンズ１２iのその主点ｑを通って入射する各入射光束とこの入射光束をそれぞれ受光する画素との関係が定まる。図１０はその図９に示す入射光束とこの入射光束を受光する受光素子との関係を示す対応表であり、撮像素子１３の全画素のうち画素Ｎａ₁〜画素Ｎａ_xの画素データを選択して抽出すれば、メインレンズ１０の点ａから被写界を覗き込んだ画像の配列情報、すなわち、被写界像を得ることができる。

また、図１１に示すように、被写体の物点Ｘから射出された光線のうちメインレンズ１０の点ａを通る入射光線ａｘ、被写体の物点ｚから射出されてメインレンズ１０の点ａを通る入射光線をａｚ、物点Ｘから射出されてメインレンズ１０の主点Ｃを通る光線をＸ主光線、物点Ｚから射出されてメインレンズ１０の主点Ｃを通る光線をＺ主光線とし、マイクロレンズアレイ板１２上で被写体にピントが合っているものとすると、Ｘ主光線、Ｚ主光線はマイクロレンズアレイ板１２上の異なるマイクロレンズ１２iに入射し、また、被写体にピントが合っている状態（メインレンズ１０が被写体に合焦している状態）では、このＸ主光線、Ｚ主光線が入射した各マイクロレンズ１２iにはａｘ光線、ａｚ光線もそれぞれ入射する。メインレンズ１０からマイクロレンズアレイ板１２までの距離ｆｍが定まれば、メインレンズ１０が被写体に対して合焦状態にあるときのメインレンズ１０の各射出瞳部位を通じて入射する入射光束が入射すべき画素が定まり、この画素と距離ｆｍとの関係を予めシステム回路に認識させておくことは可能である。メインレンズ１０が被写体に対して合焦していないときには、このＸ主光線、Ｚ主光線が入射した各マイクロレンズ１２iにはａｘ光線、ａｚ光線はそれぞれ入射しない。

メインレンズ１０が被写体に合焦していないとして、各画素を適切に選択すれば、想定合焦画像を生成することが可能である。図１２、図１３はこの想定合焦画像の作成原理を説明するための説明図である。この図１２にはメインレンズ１０から想定距離Ｌ₁の箇所に存在する点ａを通ると共にメインレンズ１０の主点Ｃを通る主光線ａ2と、メインレンズ１０から想定距離Ｌ₁の箇所に存在する点ａを通ると共にメインレンズ１０の異なる射出瞳位置Ｆa、Ｆbに向かう入射光線ａ1、ａ3と、メインレンズ１０から想定距離Ｌ₁の箇所で光軸Ｏ₂上に存在する点ｂを通ると共にメインレンズ１０の主点Ｃを通る主光線ｂ2とメインレンズ１０の異なる射出瞳位置Ｆa、Ｆbに向かう入射光線ｂ2、ｂ3とが示されている。図１１において説明したように、メインレンズ１０が被写体に対して合焦状態にあるときに、各射出瞳部位毎に入射する入射光線と画素との関係がシステム回路に認知可能であるので、逆に、メインレンズ１０が被写体に対して合焦状態にないときに、各射出瞳部位毎に入射する各入射光線と各画素との関係もシステム回路に認知可能である。

その図１２には、想定距離Ｌ₁の点ａを通りメインレンズ１０の主点Ｃを通る主光線ａ2がマイクロレンズＭkの主点ｑを通って画素Ｎkで受光され、想定距離Ｌ₁の点ａを通りメインレンズ１０の射出瞳位置Ｆaを通る光線ａ1がマイクロレンズＭjの主点ｑを通って画素Ｎjで受光され、想定距離Ｌ₁の点ａを通りメインレンズ１０の射出瞳位置Ｆbを通る光線ａ3がマイクロレンズＭlの主点ｑを通って画素Ｎlで受光され、想定距離Ｌ₁でかつ光軸Ｏ₂上の点ｂを通りメインレンズ１０の主点Ｃを通る主光線ｂ2がマイクロレンズＭnの主点ｑを通って画素Ｎnで受光され、想定距離Ｌ₁でかつ光軸Ｏ2上の点ｂを通りメインレンズ１０の射出瞳位置Ｆaを通る光線ｂ1がマイクロレンズＭmの主点ｑを通って画素Ｎmに受光され、想定距離Ｌ₁でかつ光軸Ｏ2上の点ｂを通りメインレンズ１０の射出瞳位置Ｆbを通る光線ｂ3がマイクロレンズＭpの主点ｑを通って画素Ｎpに受光されている状態が示されている。

メインレンズ１０に対して、想定距離Ｌ₁の点ａに実際に物点が存在したとするならば、この点ａに対応する物像ａ’はメインレンズ１０から像距離ｆｍ’の箇所に形成されるので、これらの光束を受光する画素Ｎj、画素Ｎk、画素Ｎlの各画素データを加算したデータ値は想定距離Ｌ₁の点ａの想定合焦点像とみなし得る。想定距離Ｌ₁の点ｂに実際の物点がないとしたならば、想定距離Ｌ₁の点ｂを通る光束は、この点ｂから出射された同族光束（像を形成するための光束）ではなく、この点ｂの背後からの光束、例えば、想定距離Ｌ₁とは異なる想定距離Ｌ₂、Ｌ₃、…から点ｂに入射する入射光束であり、物点が点ｂにあるとしたときに選択されるべき画素Ｎm、Ｎn、Ｎpを選択してデータを加算したとしても、想定合焦点像ｂ’は輪郭がはっきりしないいわゆるぼけた像となる。

次に、図１３には、想定距離Ｌ₁の光軸Ｏ2上の点ｂには実際の物点は存在しないが、想定距離Ｌ４の光軸Ｏ₂上に実際の物点が存在する場合のメインレンズ１０を通る光線とこの光線を受光する画素との関係を示している。

その図１３には想定距離Ｌ₄の点ｃを通りメインレンズ１０の主点Ｃを通る主光線ｃ2がマイクロレンズＭnの主点ｑを通って画素Ｎnで受光され、想定距離Ｌ4の点ｃを通りメインレンズ１０の射出瞳位置Ｆaを通る光線ｃ1がマイクロレンズＭj’の主点ｑを通って画素Ｎj’で受光され、想定距離Ｌ4の点ｃを通りメインレンズ１０の射出瞳位置Ｆbを通る光線ｃ3がマイクロレンズＭq’の主点ｑを通って画素Ｎq’で受光され、想定距離Ｌ₁でかつ光軸Ｏ2上の点ｂを通りメインレンズ１０の主点Ｃを通る主光線ｂ2がマイクロレンズＭnの主点ｑを通って画素Ｎnで受光され、想定距離Ｌ₁でかつ光軸Ｏ2上の点ｂを通りメインレンズ１０の射出瞳位置Ｆaを通る光線ｂ1がマイクロレンズＭmの主点ｑを通って画素Ｎmに受光され、想定距離Ｌ₁でかつ光軸Ｏ2上の点ｂを通りメインレンズ１０の射出瞳位置Ｆbを通る光線ｂ3がマイクロレンズＭpの主点ｑを通って画素Ｎpに受光されている状態が示されている。

この図１３から明らかなように、想定距離Ｌ₁の点ｂには、実際の物点は存在しないが、想定距離Ｌ₄の点ｃに実際の物点が存在する場合、点ｂと点ｃとがメインレンズ１０の光軸Ｏ₂上にあったとしても、想定距離Ｌ₁の点ｂに被写体の物点があるとしたときに選択されるべき画素と想定距離Ｌ₄の点ｃに物点があるとしたきに選択されるべき画素とは異なることになり、また、想定距離Ｌ₄の点ｃに実際の物点が存在する場合、想定距離Ｌ₄に対応する像距離Ｌ₄’（メインレンズ１０からの距離ｆｍ”）の位置に点像ｃ’が形成されるので、メインレンズ１０の光軸Ｏ₂上の点ではあるが、想定距離Ｌ₄では想定合焦点像が得られ、想定距離Ｌ₁では想定合焦点像がぼけたものとなる。

また、仮想合焦点像の画面上の位置は、メインレンズ１０の光軸Ｏ₂のマイクロレンズＭn及びこれに対応する画素領域１４の各画素を基準として、想定距離Ｌ（像距離Ｌ’）、想定合焦点像の生成に使用する画素によって定まる。

従って、各想定距離毎に画素を選択して、この各想定距離に対応する像距離における点像を生成すれば、各想定距離毎に一画面毎の想定合焦画像を生成できる。

すなわち、被写体に対するメインレンズ１０の合焦状態によらず、言い換えると、メインレンズ１０を駆動することなく、想定距離Ｌ₁、想定距離Ｌ₂、想定距離Ｌ₃、想定距離Ｌ₄、…の位置に対応する想定合焦画像を生成することができる。そのマイクロレンズを用いて、合焦状態の異なる像の再構成については、例えば、ＵＳ２００７０２５２０７４号公報にも開示されている。

なお、点ａを通る入射光束Ｐkが、互いに隣接する画素にまたがる場合には、例えば、図１４に示すように、画素ピッチｐｈと入射光束Ｐkの中心位置Ｐkoとの比に基づき、画素ｎ1から出力される画素データと画素ｎ2から出力される画素データとに重み付けを行った画素データをそれぞれ画素ｎ1、画素ｎ2から出力されるデータとして用いる。例えば、入射光束Ｐkの中心位置Ｐkoが互いに隣接する画素ｎ1と画素ｎ2との境目から１／３ほど画素ｎ1の側によっている場合には、画素ｎ1から出力された画素データの値と画素ｎ2から出力される画素データの値との和を２／３倍して、画素ｎ1から出力される画素データとして用い、画素ｎ1から出力される画素データの値と画素ｎ2から出力される画素データの値との和を１／３倍して、画素ｎ2から出力される画素データとして用いる。
（実施例１）
この発明に係わる実施例１では、メインレンズ１０が被写体に対して合焦位置にあるか否かに拘わらず被写体までの距離を想定して、光学素子配列体とこれが配置された撮像素子とメインレンズ１０との距離を一定に保持した状態で、このメインレンズ１０に入射する入射光束に基づき得られる各画素データを選択して処理することにより合焦状態が互いに異なる複数個の想定合焦画像を生成する想定合焦画像生成手段と、この想定合焦画像生成手段により得られた想定合焦画像の合焦評価検出手段とを有している。

合焦評価検出手段（合焦情報取得手段）は、この合焦状態が異なる想定合焦画像のデータ毎に、画面の中央エリアに相当する想定合焦画像の画像データにハイパスデジタルフィルタ処理を行い、所定の周波数成分を取得して被写体像のコントラスト値に相当する合焦評価値を算出する。このようにして得られた合焦評価値のうち最大のものに対応する想定合焦画像が被写体に対するメインレンズ１０の合焦状態を表していると想定される。
これにより、所定の複数の画素のうちの一部の画素の画素データに基づいて被写界像の合焦情報が得られる。

図１５はその想定合焦画像に基づく合焦評価値である。想定距離と想定距離との間隔Ｈ（図１２、図１３参照）を小さく設定すればするほど精密な合焦評価を行うことができるが、メインレンズ１０から実際の被写体までの距離は不明であるので、想定距離を異ならせた多くの合焦評価値が必要である。その図１５にはメインレンズ１０からの想定距離を１１段階に設定して得られた合焦評価値が示されている。この図１５では、想定距離Ｌ₆に対応する像距離Ｌ₆’のときの合焦評価値が最大であり、想定距離Ｌ₇に対応する像距離Ｌ₇’のときが次に大きい。残余の像距離Ｌ₁’〜 像距離距離Ｌ₅’、像距離Ｌ₈’〜 像距離Ｌ₁₁’における合焦評価値は像距離Ｌ₆’における合焦評価値、像距離Ｌ₇’における合焦評価値に較べて小さい。

被写体が想定距離Ｌ₆と想定距離Ｌ₇との間に実際にあるものとすると、想定距離Ｌ₁の位置に被写体があるものとして得られる想定合焦画像は、メインレンズ１０が実際の被写体に対する合焦位置から大きくずれているので、もっともぼけた想定合焦画像となり、その合焦評価値は最も小さい。想定距離Ｌ₂、想定距離Ｌ₄、想定距離Ｌ₆とメインレンズ１０の実際の合焦位置に近づくに伴って、合焦評価値は大きくなる。その一方、想定距離Ｌ₇、想定距離Ｌ₈、想定距離Ｌ₉、想定距離Ｌ₁₀、想定距離Ｌ₁₁とメインレンズ１０の実際の合焦位置から遠ざかるに伴って、合焦評価値は小さくなる。これは、実際にメインレンズ１０を駆動したときに得られる従来の合焦評価値に対応する。合焦評価値はメインレンズ１０が被写体に合焦する近傍位置で急激に大きくなる。被写体が想定距離Ｌ₆と想定距離Ｌ₇との間に存在する場合には、被写体に対するメインレンズ１０の実際の合焦位置は想定距離Ｌ₆と想定距離Ｌ₇との間であるので、想定距離Ｌ₆の位置に被写体があるものとして得られた合焦評価値と想定距離Ｌ₇の位置に被写体があるものとして得られた合焦評価値とを用いて、想定距離Ｌ₆と想定距離Ｌ₇との間の合焦評価値を補間演算により求める。

プロセッサ（焦点距離変更手段）１０４は図３に示すメイン処理の実行中にレリーズスイッチＳＷ１の第１段がオンされると、ＡＥ処理（S.7）を実行した後、焦点検出処理（S.8）を実行する。この焦点検出処理では、図１６に示すように、まず、想定距離ごとに合焦状態の異なる複数個の想定合焦画像（焦点状態像）を生成する（S.２1）。
これにより合焦評価検出手段（合焦情報取得手段）が得た合焦情報に基づいて焦点距離が設定され、この設定された焦点距離に撮像光学系の焦点距離が変更される。

次に、各想定合焦画像のうち画面の中央エリアに対応する各想定合焦画像部分について、ハイパスデジタルフィルタ処理を行って、各想定距離Ｌ₁ないしＬ₁₁に対する焦点評価演算を行って合焦評価値を取得する（S.２2）。ついで、至近側の想定距離Ｌ₁から遠方側の想定距離Ｌ₁₁に向かって、それぞれ得られた各合焦評価値を比較し、合焦評価値のピークの有無を判断する（S.２3）。プロセッサ１０４は、合焦評価値のピークがあると判断した場合には、被写体に対するメインレンズ１０の合焦目標位置ｆｐを演算し、メインレンズ１０の合焦目標位置ｆｐを決定する（S.２4）。ここで合焦目標位置ｆｐとはレンズの基準位置ＲＰからの駆動量に対応する数値である。なお、現在の基準位置に対する現在レンズ位置をＲＰ’、被写体に対してメインレンズ１０が現在位置ＲＰ’にあるときのデフォーカス量をΔとすると、合焦目標値ｆｐ＝ＲＰ’−Δで求まる。図１３には、想定距離Ｌ１に被写体があるとしたときの合焦目標値ｆｐが示されている。

すなわち、メインレンズ１０の基準位置ＲＰはあらかじめ定められており、この基準位置ＲＰに対するメインレンズ１０の現在位置ＲＰ’もパルスモータの駆動に用いるパルスの個数により求められるので、被写体に対するメインレンズ１０の合焦目標位置ｆｐが求まれば、メインレンズ１０の駆動量が求まる。
プロセッサ１０４はこの合焦目標位置ｆｐに実際にメインレンズ１０を駆動させる処理を実行した後、メインレンズ１０の駆動を停止する（S.２5）。これにより、被写体に対してメインレンズ１０が合焦される。S.２３において、合焦評価値が全て所定値よりも小さく、かつ、ピークがないと判定されたときには、被写体がメインレンズ１０から２．５ｍにあると仮定して合焦目標位置ｆｐを設定する演算を行って（S.２6）、合焦目標位置ｆｐを決定し（S.24）、この合焦目標位置ｆｐにメインレンズ１０を駆動させる処理を行った後、メインレンズ１０の駆動を停止する（S.２5）。

このように、この実施例１によれば、メインレンズ１０が被写体に合焦していなくとも、実際にメインレンズ１０を駆動することなく被写体から一定距離を保持した状態で、被写体に対するメインレンズ１０の合焦目標位置ｆｐを求めることができる。

すなわち、この実施例１では、メインレンズ１０を経て入射する各入射光束を光電変換してそれぞれ画素データとして出力する複数個の画素の集合からなる撮像素子１３と、この撮像素子１３の前面でこの撮像素子１３の画素領域１４毎にマイクロレンズ（光学素子）１２iが設けられしかもメインレンズ１０の異なる射出瞳位置を経て画素領域１４の各画素に入射すべき入射光束を規定するマイクロレンズアレイ板（光学素子配列体）１２とかを含む撮像光学系とを有する撮像装置を用い、 被写体がメインレンズ１０に関してマイクロレンズ（光学素子）１２i又は撮像素子１３と共役関係にあったとしたならば得られる合焦画像を得るために、光学素子配列体とこれが配置された撮像素子とメインレンズ１０との距離を一定に保持した状態でメインレンズ１０に入射する入射光束に基づき得られる各画素の画素データを選択して抽出処理することによりメインレンズ１０に対する想定距離毎に合焦状態が互いに異なる複数個の想定合焦画像を生成すると共に生成された各想定合焦画像に基づいて合焦状態を評価するための合焦評価値を取得する焦点距離検出ステップと、焦点距離検出ステップにより得られた合焦評価値に基づいて被写体に合焦するようにメインレンズ１０を駆動する駆動ステップと、被写体にメインレンズ１０を合焦させて被写体を撮像する撮像ステップとが実行される。

その焦点距離検出ステップでは、光学素子配列体とこれが配置された撮像素子とメインレンズ１０との距離を一定に保持した状態でこのメインレンズ１０に入射する入射光束に基づき得られる各画素の画素データを選択して抽出処理することによりメインレンズ１０に対する想定距離毎に合焦状態が互いに異なる複数個の想定合焦画像を生成する想定合焦画像生成ステップと、生成された各想定合焦画像に基づいて合焦状態を評価して合焦評価値を取得する合焦評価値取得ステップとが実行される。
（実施例２）
実施例１では、その図１５に示すように、想定距離と想定距離との間隔Ｈを細かく設定して、精密な合焦評価を行うことにしたが、想定距離と想定距離との間隔Ｈを粗く設定して、精密な合焦評価を行うこともできる。

周知のように、焦点深度はＦナンバーが大きいほど大きく、Ｆナンバーが小さいほど小さい。ここで、Ｆナンバーとはメインレンズ１０の焦点距離ｆに対する口径Ｄの比（ｆ／Ｄ）をいう。このＦナンバーが大きいと、被写体に対する焦点が多少ずれていてもぼけの小さい被写体像が得られるが、このＦナンバーが小さいと、被写体に対する焦点が多少ずれると、ぼけの大きな画像となる。例えば、Ｆナンバーが大きいと被写界の近距離側から遠距離側までの広い範囲にわたってピントの合った画像が得られ、Ｆナンバーが小さいと近距離側の被写体にピントを合わせると、その前後の位置の被写体はぼけた画像となる。
別の表現をすれば、Ｆナンバーが大きいメインレンズ１０では、このメインレンズ１０により得られる合焦評価値は被写体に対するメインレンズ１０の合焦位置がずれていても合焦評価値は急激に変化せず、Ｆナンバーが小さいメインレンズ１０では、このメインレンズ１０により得られる合焦評価値は被写体に対するメインレンズ１０の合焦位置がずれると急激に変化する。

想定合焦画像生成手段は、この焦点深度の異なる想定合焦画像を擬似的に生成可能である。例えば、図７に示す射出瞳位置Ｆ１１を通過する入射光束を受光する画素により得られる画素データのみを集積して積算すれば、射出瞳位置Ｆ１１を通じて見た想定合焦画像が得られる。この射出瞳位置Ｆ１１を通じて見た想定合焦画像を互いに異なる想定距離毎に生成し、この想定想距離毎に得られた各想定合焦画像に基づき合焦評価値をそれぞれ作成すれば、メインレンズ1０の光軸方向に広い範囲に渡って粗い合焦評価値を得ることができる。

図１７はその焦点深度の異なる想定合焦画像を用いて作成された合焦評価値を示している。この図１７では、想定距離Ｌ₂、想定距離Ｌ₄、想定距離Ｌ₆、想定距離Ｌ₈において焦点深度の広い各想定合焦画像を作成して得られた各合焦評価値が▲印で示されている。また、想定距離Ｌ₆、想定距離Ｌ₇、想定距離Ｌ₈において焦点深度の狭い各想定合焦画像を作成して得られた各合焦評価値が■印で示されている。

焦点深度の広い各想定合焦画像より得られる合焦評価値▲は、広い範囲に渡って合焦状態にあると考えられるからその変化曲線は緩やかであると考えられる。その一方、焦点深度の狭い各想定合焦画像により得られる合焦評価値■は、狭い範囲でしか合焦状態にないと考えられるからその変化曲線は急峻であると考えられる。

その一方、焦点深度の狭い各想定合焦画像により得られる合焦評価値■の最大値は精密に合焦していると考えられるから、焦点深度の広い各想定合焦画像により得られる合焦評価値▲の最大値よりも大きいと考えられる。

そこで、焦点深度の広い想定合焦画像に基づく各合焦評価値を用いて、概略の合焦位置を求め、次に、その概略の合焦位置の近傍で焦点深度の狭い想定合焦画像に基づく合焦評価値を用いて精密な合焦位置を求めることにすれば、想定距離毎の想定合焦画像を逐一生成しなくとも、精密な合焦位置を求めることができる。

図１８はその図１７に示す焦点深度の異なる想定合焦画像を用いて得られた合焦評価値により被写体の合焦位置を得るための処理手順を示すフローチャート図である。

プロセッサ１０４は、図３に示すメイン処理の実行中にレリーズスイッチＳＷ１の第１段がオンされると、ＡＥ処理（S.7）を実行した後、焦点検出処理（S.8）を実行する。この実施例２の焦点検出処理では、プロセッサ１０４は、初期値をＮ＝２に設定する（Ｓ．３１）。このＮは想定距離番号を意味し、Ｎ＝２は想定距離Ｌ2に対応している。プロセッサ１０４は、まず、焦点深度の広い状態に対応する想定合焦画像（Ｆナンバー１１のメインレンズ１０に実際に光束が入射したときに得られる像に対応する想定合焦画像）を生成する（Ｓ．３２）。次に、この生成された想定合焦画像に基づき合焦評価値を演算により求める（Ｓ．３３）。ついで、今回得られた合焦評価値を前回得られた合焦評価値と比較して、今回得られた合焦評価値が前回得られた合焦評価値よりも大きいか否かを判断する（Ｓ．３４）。今回得られた合焦評価値が前回得られた合焦評価値よりも大きい場合には、Ｎ＝Ｎ＋２に設定した後（Ｓ．３５）、Ｎについてあらかじめ定められた上限値Ｎｍａｘよりも小さいか否かを判断する（Ｓ．３６）。Ｎが上限値Ｎｍａｘよりも小さい場合にはＳ．３２〜Ｓ．３４の処理を繰り返す。最初は、前回得られた合焦評価値がないので、Ｓ．３４では、今回得られた合焦評価値が前回得られた合焦評価値よりも大きいと判断して、Ｓ．３５、Ｓ．３６に移行した後、Ｓ．３２〜Ｓ．３４の処理を行う。
上限値Ｎｍａｘを超えない範囲で、今回得られた合焦評価値が前回得られた合焦評価値よりも小さくなるまで、Ｓ．３２〜Ｓ．３６の処理を繰り返す。今回得られた合焦評価値が前回得られた合焦評価値よりも小さくなった時点で、プロセッサ１０４は、合焦評価値ピーク後の下降であると判断して（Ｓ．３４）、焦点深度の狭い状態に対応する複数個の想定合焦画像（Fナンバー２．８のメインレンズ１０に実際に光束が入射したときに得られる像に対応する想定合焦画像）、ここでは、ＬN，ＬN-1，ＬN-2，ＬN-3の想定距離に対応する４つの想定合焦画像を生成する（Ｓ．３７）。ここでは、Ｎ＝８のときに合焦評価値ピーク後の下降であると判断されているので、プロセッサ１０４は、Ｎ＝８、Ｎ＝７、Ｎ＝６、Ｎ＝５の想定距離Ｌ8、Ｌ7、Ｌ6、Ｌ5に対応する想定合焦画像を生成する。次に、プロセッサ１０４は、これらの想定合焦画像に基づき合焦評価値を演算する（Ｓ．３８）。ついで、プロセッサ１０４はこれらの合焦評価値に基づき、合焦評価値のピークを算出し（Ｓ．３９）、この合焦評価値に対応する想定距離の位置に被写体が存在するものとして、このピーク位置に対応してメインレンズ１０の合焦目標位置ｆｐを決定する（Ｓ．４０）。ついで、プロセッサ１０４は、メインレンズ１０を合焦目標位置ｆｐに向かって実際に駆動させる処理を行った後、メインレンズ１０の駆動を停止させる（Ｓ．４１）。
上限値Ｎｍａｘは合焦制御可能な範囲の最大値としての意味を有し、デジタルカメラに固有の値である。例えば、上限値Ｎｍａｘは「１０」であり、Ｓ．３１ないしＳ．３６の処理を繰り返しても、合焦評価値のピーク後の下降と判断されなかったときには、撮影に意味のある被写体が想定距離ＬN＝Ｌ2からＬN＝Ｌ12までの範囲内に存在しないとして、Ｓ．３７〜Ｓ．３９の処理をジャンプしてＳ．４０に移行し、メインレンズ１０の合焦目標位置ｆｐをメインレンズ１０の前方２．５ｍに対応する固定焦点位置に設定する演算を行った後（S.4２）、合焦目標位置ｆｐを決定する（Ｓ．４０）。

なお、射出瞳位置Ｆナンバーが大きい想定合焦画像の生成には、メインレンズ１０の中央部分を通る入射光束を受光する画素を選択して、この画素から得られた画像データを用いることになり、メインレンズ１０の周辺部分を通る入射光束を受光する画素から得られた画像データは用いられないので、想定合焦画像のデータ量は小さい。言い換えると、仮合焦画像は暗い画像である。そこで、想定合焦画像を得るために用いた画素の個数で想定合焦画像のデータ値を割って正規化することにすれば、焦点深度を広げた場合の想定合焦画像のデータ量を焦点深度を狭めた場合の想定合焦画像のデータ量と同等のレベルに保つことができる。

すなわち、この実施例２では、焦点距離検出ステップは、メインレンズ１０の中央部分のみを通る光束に基づき得られる焦点深度の広い状態に対応する想定距離毎の想定合焦画像を画素データを選択して抽出することにより生成して、焦点深度の広い状態に対応する想定合焦画像に基づき想定距離毎に合焦評価値を取得するステップと、想定距離毎に得られた各合焦評価値の最大値に基づきこの最大値が得られた想定距離の近傍で複数個の想定距離を細かく設定し、設定された想定距離毎にメインレンズ１０の中央部を含みかつ少なくともこれよりは広い範囲を通る光束に基づき得られる焦点深度の狭い状態に対応する想定合焦画像を画素データを選択して抽出することにより生成して焦点深度の狭い状態に対応する想定合焦画像に基づき合焦評価値を取得するステップとを実行する。
（実施例３）
この実施例３では、想定合焦画像を用いて被写体の特徴部を抽出し、この抽出された特徴部にメインレンズ１０を合焦制御する場合について説明する。

近時、被写体の特徴部、例えば、被写体としての人の画像から特徴部として顔の画像を抽出して、顔に合焦するようにメインレンズ１０を駆動制御するデジタルカメラが市販されている。

この人の顔部分を抽出する抽出手段として、例えば、図１９に示すように、表示画面Ｇ内に顔判定矩形Ｑｃを設定し、この顔判定矩形Ｑｃを表示画面Ｇ内で移動可能に設定する構成のものが知られている。この顔判定矩形Ｑｃ内には矩形の第1特徴領域Ｑｃ１と矩形の第2特徴領域Ｑｃ２とが設定されている。第1特徴領域Ｑｃ１と第2特徴領域Ｑｃ２とは顔判定矩形Ｑｃの所定位置に設定される。顔の特徴量検出ではその顔判定矩形Ｑｃの内側を注目領域として、第1特徴領域Ｑｃ１と第2特徴領域Ｑｃ２とから各特徴量が算出される。
例えば、第1特徴領域Ｑｃ１を人の目の部分に対応させ、第2特徴領域Ｑｃ２を人の鼻部分に対応させる。ここで、特徴量とは、例えば、第1特徴領域Ｑｃ１、第2特徴領域Ｑｃ２内に存在する画素により得られた画素データの平均値をいう。顔判定矩形Ｑｃを表示画面Ｇ内で移動させ、その移動位置で第1特徴領域Ｑｃ１の特徴量Ｌａと第2特徴領域Ｑｃ２の特徴量Ｌｂとを求め、この差分Δｃを算出する。この差分Δｃがあらかじめ定められている閾値αよりも大きいか否かにより、注目領域に顔が存在するか否かが判定可能である。その閾値αはサンプル画像を用いて学習させることができる。実際には、複数個の大きさのパターンの顔判定矩形Ｑｃを準備し、この顔判定矩形Ｑｃの特徴領域も上記２個に限られず、その位置関係についても適宜に定めたものが用いられる。

このような顔判定処理を行う場合、メインレンズ１０により得られた被写体画像がぼけている場合には、顔検出処理を行ったとしても、正確に顔の位置を顔画像に基づき検出することは困難である。

しかしながら、本発明によれば、事前に想定距離ごとにこれに対応する想定合焦画像の作成が可能である。例えば、図１５に示すように、想定距離Ｌ₁〜Ｌ₁₁のうち想定距離Ｌ₆に被写体としての人が存在するものとすると、この想定距離毎に得られた想定合焦画像は、想定距離Ｌ₆において、図３３（ａ）に示すようにぼけがほとんどない想定合焦画像ＧＰを得ることができ、また想定距離Ｌ₇において得られる合焦画像ＶＰ’は図３３（ｂ）に示すように若干ぼけた画像となる。従って、各想定合焦画像ごとに顔判定矩形領域Ｑｃを設定して、顔判定を実行すれば、想定距離Ｌ₆における想定合焦画像ＶＰに基づいて顔の位置を特定できることになる。

図２０はその顔位置検出処理の一例を示すフローチャート図である。

プロセッサ１０４は、図３に示すメイン処理の実行中にレリーズスイッチＳＷ１の第１段がオンされると、ＡＥ処理（S.7）を実行した後、焦点検出処理（S.8）を実行する。この実施例３の焦点検出処理では、プロセッサ１０４は、焦点検出処理において、まず、想定距離ごとに合焦状態の異なる複数個の想定合焦画像を生成する（S.４1’）。次に、複数個の想定合焦画像について顔検出処理を実行する（S.４2’）。例えば、想定距離L₁について、想定合焦画像を作成し、顔検出処理を実行する。この例では、被写体は想定距離L₁にはないので、顔検出処理を行っても、顔画像の検出が困難である。同様に、想定距離L₂〜L₁₁の各想定合焦画像についても顔検出処理を実行する。この例では、被写体が想定距離L₆にあるものとして仮定しているので、想定距離L₆の前後近傍では、顔の検出が可能になる。そこで、この顔の検出処理により得られた各想定合焦画像のうちの顔判定矩形内の画素データについて、ハイパスデジタルフィルタ処理を行って、各顔位置における合焦評価値を取得する（S.４３’）。至近側の想定距離から遠方側の想定距離に向かって、それぞれ得られた各合焦評価値を比較し、合焦評価値のピークの有無を判断する（S.４４’）。合焦評価値のピークがあると判断した場合には、被写体に対するメインレンズ１０の合焦目標位置ｆｐを演算し、メインレンズ１０の合焦目標位置ｆｐを決定する（S.４５’）。プロセッサ１０４はこの合焦目標位置ｆｐに実際にメインレンズ１０を駆動させる処理を行った後、メインレンズ１０の駆動を停止させる（S.４６’）。これにより、被写体の顔位置に対応してメインレンズ１０が合焦される。S.４４’において、合焦評価値が全て所定値よりも小さく、かつ、ピークがないと判定されたときには、被写体がメインレンズ１０から２．５ｍにあると仮定して合焦目標位置を演算し（S.４７’）、この合焦目標位置にｆｐを設定した後に（S.４５’）、メインレンズ１０を駆動、停止させる処理を行う（S.４６’）。

この例では、焦点深度を浅く設定して、すなわち、メインレンズ１０のFナンバーが小さいときに得られる実際の画像に相当する想定合焦画像を生成して顔位置の検出を行っているが、焦点深度を深くして、すなわち、メインレンズ１０のFナンバーが大きいときに得られる実際の画像に相当する想定合焦画像を生成して顔位置検出を実行し、その後、このメインレンズ１０のFナンバーが大きいときに得られたときの顔位置に基づき、メインレンズ１０のFナンバーが小さいときに得られる実際の画像に相当する想定合焦画像を生成して、精密な顔位置の検出を行い、ついで、この顔位置について合焦評価を行うこともできる。

すなわち、図２１に示すように、まず、射出瞳位置F１１に対応する画素のデータを選択して焦点深度が広い至近側から遠距離側までの広い範囲に渡って焦点が合っている各想定合焦画像を生成する（S.５1）。この各想定合焦画像について顔位置の検出を実行する（S.５2）。この顔位置検出の実行により、いずれの想定距離に被写体の顔が存在するか、粗く検出できる。次に、この被写体の顔が存在する想定距離の前後近傍の想定距離についての想定合焦画像を生成する（S.５3）。ついで、顔位置検出を再度実行し、顔位置検出により得られた顔判定矩形Qc内の画素データに基づいて合焦評価値を演算する（S.5４）。この処理によりそれぞれ得られた各合焦評価値を比較し、合焦評価値のピークの有無を判断する（S.５５）。このS.５５以降のＳ.５６〜Ｓ.５８の処理は、図２０に示すＳ.４４〜Ｓ.４７の処理と同様であるので、その詳細な説明は割愛する。この処理によれば、生成すべき想定合焦画像の個数を減らすことができ、顔検出処理速度の向上を図ることができる。

すなわち、この実施例３では、焦点距離検出ステップは、合焦状態が互いに異なる想定距離毎の想定合焦画像に基づいて被写体の特徴部分を抽出する抽出ステップを実行する。
（実施例４）
以上説明した実施例１ないし実施例３では、撮像素子１３の前面にこの撮像素子１３の全面を覆う光学素子配列体１２としてのマイクロレンズアレイを設け、1個のマイクロレンズアレイに複数個の画素を対応させて想定合焦画像を生成する構成としたので、実際に、メインレンズ１０を駆動してメインレンズ１０を被写体に合焦させ、被写体を撮影したときに得られる被写体画像はその解像度が劣化する。
この解像度の劣化を防止するために、この実施例４では、撮像光学系は、図２２に示すように、メインレンズ１０の後方に設けられた跳ね上げミラーＭｒと、想定合焦画像生成用撮像素子１５と、被写体画像記録用撮像素子１６とから構成されている。想定合焦画像生成用撮像素子１５は、光学素子配列体１２と撮像素子１３とから構成され、被写体画像記録用撮像素子１６は撮像素子１３のみから構成されている。その想定合焦画像生成用撮像素子１５と画像生成用撮像素子１６とはその跳ね上げミラーＭｒに関して互いに共役な位置に配置されている。

このように、撮像光学系を構成すれば、メインレンズ１０を駆動することなく、想定合焦画像生成用撮像素子１５の各画素により得られた画素データを用いて想定合焦画像を生成し、この想定合焦画像を用いて合焦検出を行い、メインレンズ１０の被写体に対する合焦目標位置ｆｐを取得し、ついで、メインレンズ１０を合焦目標位置に駆動した後、跳ね上げミラーＭｒを跳ね上げ、被写体画像記録用撮像素子１６を用いて被写体を撮影することができる。この構成とすれば、解像度の劣化を伴うことなく、被写体を撮影して記録することができる。
（実施例５）
実施例４では、解像度の劣化を防止するために、メインレンズ１０の後方に跳ね上げミラーＭｒを設け、この跳ね上げミラーＭｒに関して互いに共役な位置に想定合焦画像生成用撮像素子１５と、被写体画像記録用撮像素子１６とを設ける構成としたので、部品点数が多くなると共に、その構成が複雑化している。

この実施例５では、図２３に示すように、光学素子配列体１２としてのマイクロレンズアレイ板を入射光束がそのまま透過する透過平面部１２ａと水平方向に一列に配列されたマイクロレンズ１２iからなりかつ垂直方向に間隔を開けて設けられた複数個のマイクロレンズアレイ１２’とにより構成したものである。この実施例５では、水平方向に9個の画素かつ垂直方向に1個の画素からなる画素領域１４に対して１個のマイクロレンズ１２iが設けられている。この各マイクロレンズ１２iはシリンドリカル形状とされ、各マイクロレンズ１２iはその入射面１２aを除いて、各マイクロレンズ同士が互いに隣接する境界面１２ｂと両側面１２ｃとが遮光されている。境界面１２ｂを遮光することにしたのは、互いに隣接する一方のマイクロレンズ１２iに入射した入射光束が他方のマイクロレンズ１２iの直下の画素領域１４の画素に入射するのを防止するためである。これにより、クロストーク現象による画像劣化を防止できる。また、両側面１２ｃを遮光したのは、マイクロレンズ１２iに入射すべき入射光束以外の光束の入射に基づきマイクロレンズ１２iによって定義される画素領域１４の画素データが劣化するのを防止するためである。なお、クロストークを防止するために、メインレンズ１０の開放Fナンバーにマイクロレンズ１２iのFナンバーを合致させるという手段もある。なお、マイクロレンズアレイ１２’は１個でも良い。
このマイクロレンズアレイ板を撮像素子１３の前面に設ける構成とすれば、マイクロレンズアレイ板の直下の画素領域１４の画素のデータを用いて想定合焦画像を生成でき、この想定合焦画像を用いて合焦検出を行うことができる。また、透過平面部１２ａを透過して入射する入射光束を受光する画素のデータを用いて被写体を撮像できるので、被写体画像の劣化を低減しつつ被写体画像の記録を行うことができる。
撮像素子１３には、一般的に、R,G,Bからなる色フィルタが図２４に示すようにその各画素毎に配置されているので、想定合焦画像の生成において、各画素毎の画素データを用いて像の再構成を行うことにすると、色フィルタにより画素毎の画素データが変化するので好ましくない。従って、この各マイクロレンズアレイ板の直下の画素領域１４内の各画素には色フィルタを設けない構成とすることが望ましい。
また、図２４に示すように、画素領域１４の各画素の二列に対して1個のマイクロレンズ１２iを対応させ、この画素領域１４の各画素のうちGフィルタを有する画素データのみを用いて想定合焦画像を生成する構成とすることもできる。ここで、Gフィルタを有する画素を用いることにしたのは、Gフィルタが設けられている各画素の個数が多いからである。
このような構成とすると、マイクロレンズアレイ１２’が配列されていない各箇所の画素データにより被写体画像を生成でき、マイクロレンズアレイ１２’が配列されている各箇所部分に相当する画像部分については、このマイクロレンズアレイ１２’が配列されている画素領域１４に隣接する画素領域のデータを用いて、補間処理により得ることができるので、解像度の劣化を低減しつつ被写体を撮像できる。
なお、このマイクロレンズアレイ１２’で被覆された画素の画素データは、解像分解能が劣化しているが、焦点状態が異なった仮合焦画像間のコントラスト情報を用いて、合焦状態を求めるので、焦点状態が異なった個々の想定合焦画像の解像度が低下していることは問題ではなく、メインレンズ１０の合焦制御に全画素の画素データを用いて被写体画像を撮像する場合でも、ぼけのない良好な合焦画像を得ることができる。
また、想定合焦画像による焦点検出により、被写体に合焦するようにメインレンズ１０を駆動した後に、マイクロレンズ１２iに被覆されていない画素データにより焦点評価値を求め、この焦点評価値による焦点検出により、被写体に合焦するようにメインレンズ１０を補正駆動すると、更に精度の高い合焦を行うことができる。
（実施例６）
従来から、レリーズボタンの1回の操作によりメインレンズ１０の合焦位置をずらしながら複数枚の被写体画像を撮影するいわゆるフォーカスブラケット撮影方式も知られている。

また、従来から、図２５に示すように、撮影画角を複数個のエリアｄ1、ｄ2、ｄ3に分割し、実際にメインレンズ１０を駆動してエリアｄ1、エリアｄ2、エリアｄ3に対応する合焦評価値を取得し、図２６に示すような合焦評価値を取得する合焦評価手段も知られている。

この図２６において、●印はエリアｄ1内の画素のデータに基づく合焦評価値であり、▲印はエリアｄ2内の画素のデータに基づく合焦評価値であり、■印はエリアｄ3内の画素データに基づく合焦評価値である。また、横軸は被写体に対するメインレズ１０の想定距離、いいかえると、基準位置（至近距離位置）０に対するメインレンズ１０の駆動量である。

エリアｄ1内には、図２５に示すように被写体が存在しないので、その想定合焦画像により得られる合焦評価値は低い。エリアｄ2内には被写体が大きく写っているので、合焦評価値のピークが存在する。エリアｄ2内の被写体はそのエリア内で大きく写っているので、メインレンズ１０に対する距離が近い。エリアｄ3内には被写体が小さく写っているので合焦評価値のピークは存在するが、エリアｄ2内の被写体よりも小さいのでエリアｄ2内の被写体よりも遠くに存在し、メインレンズ１０に対する距離がエリアｄ2内の被写体よりも大きい。

従って、例えば、エリアｄ2内の合焦評価値のピークは、合焦目標位置ｆｐ＝１２０のところに存在し、エリアｄ3内の合焦評価値のピークは、合焦目標位置ｆｐ＝２００のところに存在する。従来、このような被写界に対して合焦を行う場合、実際にメインレンズ１０を駆動することにより得られた合焦目標位置ｆｐを用いて、これらの合焦目標位置ｆｐにメインレンズ１０を駆動することにより、合焦位置が異なる複数枚の画像の撮影を行っている。

この実施例６では、このような合焦評価値を実際にメインレンズ１０を駆動することなく取得できるものである。以下、その処理手順を図２７を参照しつつ説明する。

プロセッサ１０４は、焦点検出処理において、各想定距離毎に想定合焦画像を生成する（S.６1）。ここでは、想定距離を８段階に区切って８個の想定合焦画像を生成する。次に、エリアｄ1、エリアｄ2、エリアｄ3を設定する。このエリアｄ1、エリアｄ2、エリアｄ3の画像を生成するために用いられる画素データを選択する。これらの画素データを用いて合焦評価値を演算する（S.６2）。次に、複数のメモリｆｐ｛０｝、ｆｐ｛１｝、ｆｐ｛２｝を「０」にセットする（S.６3）。次に、メモリ番号ｉをｉ＝０にセットする（S.６4）。なお、ここで、符号ｉは至近距離側から被写体を見つけ出した番号を意味する。
ついで、各想定距離L１〜L8について各想定合焦画像のエリアｄ1の範囲内の画像部分を構築するための画素データを用いて合焦評価値を求め、ピークの有無を判定する（S.６5）。エリアｄ1にピークが存在する場合には、その合焦評価値のピークに対応する合焦目標位置ｆｐの値をメモリｆｐ｛０｝に格納すると共に、ｉ＝１にセットする（S．６６）。
この例では、エリアｄ1には被写体がないと仮定しているので、ｆｐ｛０｝＝０である。
次に、想定距離L1〜L8について各想定合焦画像のエリアｄ2の範囲内の画像部分を構築するための画素データを用いて合焦評価値を求め、ピークの有無を判定する（S.６７）。 エリアｄ2にピークが存在する場合には、その合焦評価値のピークに対応する合焦目標位置ｆｐの値をメモリｆｐ｛１｝に格納すると共に、ｉ＝２にセットする（S.６８）。この例では、エリアｄ2には合焦目標位置ｆｐ＝１２０のところに被写体があると仮定しているので、ｆｐ｛１｝＝１２０に設定される。
ついで、想定距離L1〜L8について各想定合焦画像のエリアｄ3の範囲内の画像部分を構築するための画素データを用いて合焦評価値を求め、ピークの有無を判定する（S.６９）。
エリアｄ3に合焦評価値のピークが存在する場合には、その合焦評価値のピークに対応する合焦目標位置ｆｐの値をメモリｆｐ｛２｝に格納した後（S.７0）、ｉ＝０か否かを判定する（S.７１）。この例では、エリアｄ3には合焦目標位置ｆｐ＝２００のところに被写体があると仮定しているので、ｆｐ｛２｝＝２００に設定される。S.７1において、ｉ＝０の場合、エリアｄ1、ｄ2、ｄ3のいずれのエリアでも、合焦評価値のピークが得られなかったので、合焦目標位置ｆｐ＝０に設定する（S.７2）。ここで、合焦目標位置ｆｐ＝０はメインレンズ１の固定焦点位置２．５ｍに対応する。次に、メモリｆｐ｛ｉ｝に格納されている合焦目標位置を大きい順に並べ替え、合焦目標位置の値が大きいものから順にメモリ番号の小さいメモリに保存される処理を行う（S.７3）。この例では、エリアｄ3の合焦目標位置がｆｐ＝２００、エリアｄ2の合焦目標位置がｆｐ＝１２０、エリアｄ1の合焦目標位置がｆｐ＝０にセットされているので、最終的には、ｆｐ｛０｝＝２００、ｆｐ｛１｝＝１２０、ｆｐ｛２｝＝０にセットされる（S.７4）。ついで、ｆｐ｛０｝＝２００に合焦目標位置を設定して、メインレンズ１０を駆動して、メインレンズ１０の駆動を停止する（S.７５）。これにより、合焦検出処理が終了する。
ついで、レリーズボタンＳＷ１の第２段がオンされると、最初に合焦目標位置ｆｐ＝２００において静止画撮影が実行され、ついで、合焦目標位置ｆｐ｛１｝＝１２０の位置に向かってメインレンズ１０が駆動され、この合焦目標位置ｆｐ＝１２０の位置で静止画撮影が実行される。なお、ｆｐ｛２｝＝０なので、この例では、合焦目標位置ｆｐ｛２｝＝０の位置では、静止画撮影は行われず、2回の静止画撮影で撮影は終了する。
このように、この実施例６では、メインレンズ１０を駆動することなく異なるエリアｄ1ないしｄ3の被写体画像の合焦評価値を取得し、一回のレリーズスイッチＳＷ１の操作で、異なるエリアの両方の被写体に合焦した被写体画像を連続的に得ることができる。
（実施例７）
本発明に係る撮像装置を用いれば、撮影画像のぼけ制御を行うこともできる。フィルムカメラよりも小さい撮像素子を用いたデジタルカメラの場合、メインレンズ１０の実際の焦点距離が短いため、フィルムカメラに較べて焦点深度が狭く、背景がぼやけたきれいな被写体画像が得にくく、画像処理によって、主要被写体と背景とを分離し、背景を画像処理によってぼやかすことにしている。

しかしながら、主要被写体に対して、背景を一様にぼかすと不自然な感じの被写体画像となり、主要被写体に対する背景画像の合焦ずれ情報を取得して、この合焦ずれ情報に基づいて、主要被写体に対する背景画像の合焦ずれ情報を取得して、この合焦ずれ情報に基づいて主要被写体に対する背景画像のぼけ量を決定するのが望ましい。

図２８〜図３２は本発明に係わる想定合焦画像を用いて主要被写体に対して背景画像をぼかす処理に用いる説明図であって、図２８は主要被写体３０としての人物がＬＣＤモニタの表示画面Ｇの中央に存在し、そのそばではあるが若干後方に背景画像３１としての樹木が存在し、遠方に背景画像３２としての山脈が存在する場合を示している。なお、この図２８は従来のデジタルカメラを用いて得られた被写体画像を表示画面Ｇに表示させた状態を示している。

このような場合、主要被写体３０に対する遠方の背景画像３２のぼけ具合は、主要被写体３０の若干後方に存在する背景画像３１よりも大きくぼかすような処理を行うことが望ましい。

この発明の実施例７では、システム回路は背景画像のぼけ具合を補正する画像補正処理手段を備えている。この画像補正処理手段はキースイッチＳＷ１５の画像補整処理キー（図示を略す）の操作により設定される。

プロセッサ１０４がメイン処理（図３参照）の実行中に、画像補正処理キー（図示を略す）が操作されると、レリーズスイッチＳＷ１の第1段スイッチがオンすると、想定合焦画像に基づく焦点検出処理（図１６、図１８参照）を実行して得られた合焦目標位置ｆｐがｆｐｍａｉｎとして例えばＳＤＲＡＭ１０３に記憶される。ついで、レリーズスイッチＳＷ１の第２段スイッチがオンされると、メインレンズ１０が合焦目標位置ｆｐに駆動されて停止され、実際に撮影が実行される。次に、図２９に示す静止画画像補正処理が実行される。

この発明の実施例７では、図３０に示すように、表示画面Ｇに対応する画面領域が横にI＝０からI＝Iｍaｘ、縦にJ=JｍaｘのIｍaｘ×Jｍaｘ個に分割され、この分割エリア毎の画素データに基づいて想定距離毎に想定合焦画像が生成され（Ｓ．８１）、分割エリア毎に合焦評価のピーク値ｆｐ｛Ｉ，Ｊ｝が算出される（Ｓ．８２）。図３１はＪラインについての合焦評価のピーク値ｆｐ｛Ｉ，Ｊ｝変化曲線を示している。この実施例７では、画面中央に主要被写体３０が存在し、この主要被写体３０に合焦させて静止画撮影を行っているので、この合焦評価のピーク値ｆｐ｛Ｉ，Ｊ｝曲線のピークが最も大きい。背景画像３１は主要被写体３０の近傍に存在するので、この合焦評価のピーク値ｆｐ｛Ｉ，Ｊ｝曲線のピークが次に大きい。背景画像３２は主要被写体３０から最も遠いので、この合焦評価のピーク値ｆｐ｛Ｉ，Ｊ｝曲線のピークが最も小さい。

このように、各分割エリア毎に得られたピーク値ｆｐ｛Ｉ，Ｊ｝と合焦目標位置ｆｐｍａｉｎとの差の絶対量をデフォーカス量Δｆｐ｛Ｉ，Ｊ｝として、エリア｛Ｉ＝０，Ｊ＝０｝からエリア｛Ｉ＝Ｉｍａｘ，Ｊｍａｘ｝までの全エリアについてデフォーカス量Δｆｐ｛Ｉ，Ｊ｝＝ＡＢＳ（ｆｐｍａｉｎ−ｆｐ｛Ｉ，Ｊ｝）を演算する（Ｓ．８３）。なお、ＡＢＳは差の絶対値を意味する記号である。

このエリア｛Ｉ，Ｊ｝毎に得られたデフォーカス量Δｆｐ｛Ｉ，Ｊ｝＝ＡＢＳ（ｆｐｍａｉｎ−ｆｐ｛Ｉ，Ｊ｝）の値をこのエリア近傍のエリアのデフォーカス量を用いて平滑化する（Ｓ．８４）。なお、この平滑化には、このエリア近傍のデフォーカス量を加算して単純に算術平均したり、このエリア近傍のデフォーカス量と大きくその値が異なる場合には、周辺近傍のデフォーカス量の平均値に置換したりする処理方法がある。

この平滑化されたデフォーカス量Δｆｐに応じて、各エリアの画像補正処理に関係するパラメータparam｛Ｉ，Ｊ｝を関数ｆ（Δｆｐ｛Ｉ，Ｊ｝）によって決定する（Ｓ．８５）。このパラメータparam｛Ｉ，Ｊ｝には例えば図３２に示すデジタルフィルタを用いる。このデジタルフィルタにおいて、中央の係数は「１」であり、周辺の係数αは０から１までの変数である。係数αは例えば関数ｆ（Δｆｐ｛Ｉ，Ｊ｝）にどのような種類のものを用いるかによって適宜定めることができる。例えば、関数（Δｆｐ｛Ｉ，Ｊ｝）は補正処理対象としての注目エリアの近傍のエリアとのデフォーカス量Δｆｐが大きくなるに伴ってαが１に近づくような関数とすることができる。
エリア内の各画素の画像補正処理は、例えば、補正処理対象画素（ｍ,ｎ）の画素データのうちの輝度値Ｙｍｎの値とその周辺近傍の８画素（ｍ-1,n-1）、(m,n-1)、(m+1,n-1)、(m-1,n)、(m+1,n)、(m-1,n+1)、(m,n+1)、(m+1,n+1)の画素の各輝度値に係数αを掛けて得られた各値の和を画素数９で割って得られた値をその補正処理対象画素（ｍ、ｎ）の輝度値Ｙｍｎ’とすることによって行われる。

例えば、α＝０とすれば、エリア内の各画素について全く画像ぼけ処理を行わなかったことになり、α＝１とすれば、エリア内の各画素についてその周辺エリアと同じ画像ぼけ処理を行ったことになる。

このように、画面内の各エリア毎に想定合焦画像を用いてデフォーカス量を求めることにすると、実際にメインレンズ１０を駆動することなく、画像ぼけについての画像補正処理を実行できるので、画像補正処理速度が向上する。

本発明が適用されるカメラの一例を示す外観図である。 本発明が適用されるカメラに内蔵されるシステム回路の一例を示すブロック回路図である。 本発明が適用されるカメラのメイン処理の概要を示すフローチャート図である。 本発明が適用されるカメラの撮像光学系の模式図である。 図４に示すメインレンズの一例を示す光学図である。 本発明に適用される撮像素子と光学素子配列体との位置関係を示す模式図である。 図４に示すメインレンズと光学素子配列体の１個のマイクロレンズと撮像素子との光学的関係を説明するための模式図であって、（ａ）はメインレンズに入射した入射光束がマイクロレンズを介して入射すべき画素との関係を説明するための模式図、（ｂ）は１個のマイクロレンズと１個の画素領域との関係を示す平面図である。 本発明の原理を説明するための模式図である。 本発明の原理を説明するための模式図であって、被写界と被写界像との関係を示す説明図である。 図９に示すマイクロレンズとこのマイクロレンズを介して入射した入射光束との関係を示す対応表である。 本発明の原理を説明するための模式図であって、被写体にメインレンズが合焦状態にあるときに、マイクロレンズを通って入射すべき画素との関係を説明する説明図である。 本発明に係わる想定合焦画像の作成原理を説明するための模式図であって、被写体にメインレンズが合焦状態にないときに、マイクロレンズを通って入射すべき画素との関係を説明する説明図である。 本発明に係わる想定合焦画像の作成原理を説明するための別の模式図であって、被写体にメインレンズが合焦状態にないときに、マイクロレンズを通って入射すべき画素との関係を説明する説明図である。 マイクロレンズのレンズ主点を通る入射光束が隣接する画素に入射する状態を示す模式図である。 本発明の実施例１に係わる想定合焦画像を用いて作成した合焦評価値の曲線図である。 本発明の実施例１に係わる焦点距離検出処理のフローチャート図である。 本発明の実施例２に係わる想定合焦画像を用いて作成した合焦評価値の曲線図である。 本発明の実施例２に係わる焦点距離検出処理のフローチャート図である。 本発明の実施例３に係わる被写体の特徴部検出処理の原理を説明するための模式図であって、（ａ）は特徴部としての顔判定矩形を表示画面内に設定した状態を示す図、（ｂ）はこの顔判定矩形内の特徴領域を示す図、（ｃ）はこの特徴領域についての演算を説明するための説明図である。 本発明の実施例３に係わる焦点距離検出処理の一例を示すフローチャート図である。 本発明の実施例３に係わる焦点距離検出処理の他の例を示すフローチャート図である。 本発明の実施例４に係わる撮像光学系の構成を示す模式図である。 本発明の実施例５に係わるマイクロレンズアレイ板の一例を示す斜視図である。 本発明の実施例５に係わるマイクロレンズアレイと画素領域との対応関係の一例を示す模式図である。 本発明の実施例６に係わる想定合焦画像の作成方法を説明するための説明図であって、表示画面Ｇを複数個のエリアに分割した状態を示す模式図である。 本発明の実施例６に係わる想定合焦画像を用いて作成した合焦評価値の曲線図である。 本発明の実施例６に係わる焦点距離検出処理のフローチャート図である。 本発明の実施例７に係わる画像補正処理を説明するための説明図であって、表示画面と主要被写体との位置関係を示す説明図である。 実施例７に係わる画像補正処理の一例を説明するためのフローチャート図である。 図２８に示す表示画面を画面分割した状態を示す説明図である。 図３０に示すエリアのＪラインについて合焦評価を行ったときに得られる合焦評価値曲線の一例を示す説明図である。 本発明の実施例７に係わる画像補正処理に用いるデジタルフィルタの一例を示す図である。 本発明の実施例３に係わる想定合焦画像の説明図であって、（ａ）は想定距離に被写体が実際に存在するときに得られる想定合焦画像、（ｂ）は想定距離から被写体が若干ずれた位置に存在するときに得られる想定合焦画像を示す図である。

符号の説明

１０…メインレンズ
１２…マイクロレンズアレイ板（光学素子配列体）
１３…撮像素子
１４…画素領域

Claims (23)

1. 主光学系を経て入射する各入射光束を光電変換してそれぞれ画素データとして出力する複数個の画素の集合からなる撮像素子と、
   該撮像素子の前面で該撮像素子の画素領域毎に光学素子が設けられしかも前記主光学系の異なる射出瞳位置を経て前記画素領域の各画素に入射すべき入射光束を規定する光学素子配列体と、
   該光学素子配列体とこれに配置された撮像素子と前記主光学系との距離を一定に保持した状態で該主光学系に入射する入射光束に基づき得られる前記各画素の画素データを選択して抽出処理することにより前記主光学系に対する想定距離毎に合焦状態が互いに異なる複数個の想定合焦画像を生成する想定合焦画像生成手段と、該想定合焦画像生成手段により生成された想定合焦画像の合焦状態を評価する合焦評価値取得手段とを備えた焦点距離検出装置。
2. 主光学系を経て入射する各入射光束を光電変換してそれぞれ画素データとして出力する複数個の画素の集合からなる撮像素子と、該撮像素子の前面で該撮像素子の画素領域毎に光学素子が設けられしかも前記主光学系の異なる射出瞳位置を経て前記画素領域の各画素に入射すべき入射光束を規定する光学素子配列体とを含む撮像光学系と、
   該光学素子配列体とこれに配置された撮像素子と前記主光学系との距離を一定に保持した状態で該主光学系に入射する入射光束に基づき得られる前記各画素の画素データを選択して抽出処理することにより前記主光学系に対する想定距離毎に合焦状態が互いに異なる複数個の想定合焦画像を生成すると共に生成された各想定合焦画像に基づいて合焦状態を評価するための合焦評価値を取得する焦点距離検出手段と、
   該焦点距離検出手段により取得された合焦評価値に基づいて前記被写体に合焦するように前記主光学系を駆動する駆動手段と、を備えていることを特徴とする撮像装置。
3. 前記焦点距離検出手段は、前記主光学系の中央部分のみを通る光束に基づき得られる焦点深度の広い状態に対応する想定距離毎の想定合焦画像を画素データを選択して抽出することにより生成し、焦点深度の広い状態に対応する想定合焦画像に基づき想定距離毎に合焦評価値を取得し、想定距離毎に得られた各合焦評価値の最大値に基づきこの最大値が得られた想定距離の近傍で複数個の想定距離を細かく設定し、設定された想定距離毎に前記主光学系の中央部を含みかつ少なくともこれよりは広い範囲を通る光束に基づき得られる焦点深度の狭い状態に対応する想定合焦画像の画素データを選択して抽出することにより生成して焦点深度の狭い状態に対応する想定合焦画像に基づき合焦評価値を取得することを特徴とする請求項２に記載の撮像装置。
4. 前記焦点距離検出手段は、合焦状態が互いに異なる想定距離毎の想定合焦画像に基づいて前記被写体の特徴部分を抽出する抽出手段を有している請求項２又は請求項３に記載の撮像装置。
5. 前記焦点距離検出手段は、想定距離毎に生成された想定合焦画像のエリア毎に合焦状態を評価し、各エリア毎の合焦目標位置を決定し、前記駆動手段はエリア毎に得られた合焦目標位置に基づき前記主光学系を駆動することを特徴とする請求項２又は請求項３に記載の撮像装置。
6. 主光学系を経て入射する各入射光束を光電変換してそれぞれ画素データとして出力する複数個の画素の集合からなる撮像素子と、
   該撮像素子の前面で該撮像素子の画素領域毎に光学素子が設けられしかも前記主光学系の異なる射出瞳位置を経て前記画素領域の各画素に入射すべき入射光束を規定する光学素子配列体と、
   該光学素子配列体とこれに配置された撮像素子と前記主光学系との距離を一定に保持した状態で該主光学系に入射する入射光束に基づき得られる前記各画素の画素データを選択して抽出処理することにより前記主光学系に対する想定距離毎に合焦状態が互いに異なる複数個の想定合焦画像を生成すると共に生成された各想定合焦画像に基づいて合焦状態を評価するための合焦評価値を取得する焦点距離検出手段と、
   該焦点距離検出手段により取得された合焦評価値に基づいて前記被写体に合焦するように前記主光学系を駆動する駆動手段と、
   前記被写体に前記主光学系が合焦された状態で撮影を実行して静止画画像を取得する静止画取得手段と、
   該静止画取得手段により得られた静止画画像に画像ぼけに関する画像補正処理を行う画像補正処理手段とを備え、
   該画像補正処理手段は、主要被写体に対する背景画像の画像ぼけに関する補正処理を行うために、前記静止画画像を複数個のエリアに分割して該エリア毎にかつ想定距離毎に想定合焦画像を生成してエリア毎に該想定合焦画像に対応する合焦評価値を取得し、該エリア毎に取得された合焦評価値と前記焦点距離検出手段により得られた合焦評価値とに基づき前記主要被写体に対する前記背景画像のデフォーカス量を演算し、該デフォーカス量に基づき前記主要被写体に対する背景画像の補正処理を行うことを特徴とする撮像装置。
7. 前記撮像素子はＣＣＤ又はＣＭＯＳセンサであり、前記光学素子配列体はマイクロレンズが規則的に配列されたマイクロレンズアレイ板からなることを特徴とする請求項２に記載の撮像装置。
8. 前記マイクロレンズアレイ板は、マイクロレンズが一列に規則的に配列されたマイクロレンズアレイを有するか、又は、マイクロレンズの配列方向に対して直交する方向に間隔を開けて配列された複数個のマイクロレンズアレイを有し、前記マイクロレンズ板は該マイクロレンズアレイを除く平面部が前記主光学系からの光束が直接入射する透過平面部とされていることを特徴とする請求項７に記載の撮像装置。
9. 前記撮像光学系は、前記主光学系の後方に設けられた跳ね上げミラーを有し、該跳ね上げミラーに関して前記マイクロレンズアレイ板が前面に設けられかつマイクロレンズによって覆われている想定合焦画像生成用撮像素子とは別にマイクロレンズアレイ板で被覆されていない被写体画像記録用撮像素子が設けられていることを特徴とする請求項７に記載の撮像装置。
10. 前記撮像光学系は、前記主光学系の後方に設けられた跳ね上げミラーを有し、該跳ね上げミラーに関して前記マイクロレンズアレイ板が前面に設けられかつマイクロレンズによって全面が覆われている想定合焦画像生成用撮像素子と光学的に共役な位置に該想定合焦画像とは別にマイクロレンズアレイ板で被覆されていない被写体画像記録用撮像素子が設けられていることを特徴とする請求項７に記載の撮像装置。
11. 前記マイクロレンズの主点を通る入射光束が該マイクロレンズに覆われている画素領域の各画素にそれぞれ対応づけられていることを特徴とする請求項７に記載の撮像装置。
12. 前記マイクロレンズの焦点距離位置に前記撮像素子が設けられていることを特徴とする請求項７に記載の撮像装置。
13. 主光学系を経て入射する各入射光束を光電変換してそれぞれ画素データとして出力する複数個の画素の集合からなる撮像素子と、該撮像素子の前面で該撮像素子の画素領域毎に光学素子が設けられしかも前記主光学系の異なる射出瞳位置を経て前記画素領域の各画素に入射すべき入射光束を規定する光学素子配列体とを有する撮像装置を用い、該光学素子配列体とこれに配置された撮像素子と前記主光学系との距離を一定に保持した状態で該主光学系に入射する入射光束に基づき得られる前記各画素の画素データを選択して抽出処理することにより前記主光学系に対する想定距離毎に合焦状態が互いに異なる複数個の想定合焦画像を生成すると共に生成された各想定合焦画像に基づいて合焦状態を評価するための合焦評価値を取得する焦点距離検出ステップと、
    該焦点距離検出ステップにより得られた合焦評価値に基づいて前記被写体に合焦するように前記主光学系を駆動する駆動ステップと、
    前記被写体に前記主光学系を合焦させて前記被写体を撮像する撮像ステップとを含む撮像方法。
14. 前記焦点距離検出ステップが、被写体が前記主光学系に関して前記撮像素子と共役関係にあったとしたならば得られる合焦画像を得るために前記該光学素子配列体とこれに配置された撮像素子と前記主光学系との距離を一定に保持した状態で該主光学系に入射する入射光束に基づき得られる前記各画素の画素データを選択して抽出処理することにより前記主光学系に対する想定距離毎に合焦状態が互いに異なる複数個の想定合焦画像を生成する想定合焦画像生成ステップと、生成された各想定合焦画像に基づいて合焦状態を評価して合焦評価値を取得する合焦評価値取得ステップとを含むことを特徴とする請求項１３に記載の撮像方法。
15. 前記焦点距離検出ステップが、前記主光学系の中央部分のみを通る光束に基づき得られる焦点深度の広い状態に対応する想定距離毎の想定合焦画像を画素データを選択して抽出することにより生成して、焦点深度の広い状態に対応する想定合焦画像に基づき想定距離毎に合焦評価値を取得するステップと、想定距離毎に得られた各合焦評価値の最大値に基づきこの最大値が得られた想定距離の近傍で複数個の想定距離を細かく設定し、設定された想定距離毎に前記主光学系の中央部を含みかつ少なくともこれよりは広い範囲を通る光束に基づき得られる焦点深度の狭い状態に対応する想定合焦画像を画素データを選択して抽出することにより生成して焦点深度の狭い状態に対応する想定合焦画像に基づき合焦評価値を取得するステップとを含むことを特徴とする請求項１４に記載の撮像方法。
16. 前記焦点距離検出ステップが、合焦状態が互いに異なる想定距離毎の想定合焦画像に基づいて前記被写体の特徴部分を抽出する抽出ステップを含むことを特徴とする請求項１３に記載の撮像方法。
17. 請求項１に記載の焦点距離検出装置を備えたカメラ。
18. 撮像光学系を通して入射する光を光電変換して画素データとして出力する複数の画素を有してなる受光部を備える撮像素子と、
    前記画素データに基づいて被写界像の合焦情報を得る合焦情報取得手段とを備えた合焦装置において、
    前記撮像素子の前記受光部の受光面上に配列される複数の光学素子が設けられた光学素子配列部材を有し、前記光学素子はそれぞれ、所定の複数の画素にわたって前記撮像素子の前記受光部を覆い、前記合焦情報取得手段は、前記所定の複数の画素のうちの一部の画素の画素データに基づいて前記被写界像の合焦情報を得ることを特徴とする合焦装置。
19. 前記合焦情報取得手段が得た前記合焦情報に基づいて前記撮像光学系の焦点距離を設定し、前記設定された焦点距離に前記撮像光学系の焦点距離を変更する焦点距離変更手段を備えることを特徴とする請求項１８に記載の合焦装置。
20. 請求項１９に記載の合焦装置を備え、前記焦点距離変更手段により変更された焦点距離において撮像を行うことを特徴とする撮像装置。
21. 撮像光学系を通して入射する光を光電変換して画素データとして出力する複数の画素を有してなる受光部からの当該画素データに基づいて被写界像の合焦情報を取得する合焦方法であって、
    前記受光部の受光面上に配列されてなる複数の光学素子によって覆われた所定の複数の画素のうちの一部の画素の画素データに基づいて前記被写界像の合焦情報を得ることを特徴とする合焦方法。
22. 得られた合焦情報に基づいて前記撮像光学系の焦点距離を設定し、前記設定された焦点距離に前記撮像光学系の焦点距離を変更することを特徴とする請求項２１に記載の合焦装置。
23. 請求項２２に記載の合焦方法により変更された焦点距離において撮像を行うことを特徴とする撮像装置。

Images