JP2006323172A

JP2006323172A - 合焦情報取得装置

Info

Publication number: JP2006323172A
Application number: JP2005146777A
Authority: JP
Inventors: Satoko Kojo; 聡子古城
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-05-19
Filing date: 2005-05-19
Publication date: 2006-11-30
Also published as: WO2006123755A1

Abstract

【課題】全ての画像領域において合焦検出精度を確保することができる合焦情報取得装置を提供すること。
【解決手段】ぼけの異なる複数の画像を演算処理することによりスプレッドパラメータを算出し、合焦判定するために、光路長の異なる2箇所で輝度情報を取得する合焦情報取得装置であって、被写体の像を所定の位置に結像させる光学系１と、撮像面上に結像された被写体の像を画像として撮像する撮像部２と、輝度情報が取得される輝度情報抽出領域に関する位置情報と、輝度情報から算出されるスプレッドパラメータとに基づいて、輝度情報が取得される輝度情報抽出領域内において被写体の合焦画像を撮像するための光学系の状態を設定する光学系設定情報を取得する光学系制御部６とを具備する。
【選択図】図１

Description

本発明は、ぼけの異なる複数の画像を演算処理することによりスプレッドパラメータを算出し、合焦判定するために、光路長の異なる2箇所で輝度情報を取得する合焦情報取得装置に関する。

例えば米国特許第４９６５８４０号には、ぼけの異なる複数の画像を演算処理することにより、スプレッドパラメータを算出し、合焦判定するために、光路長の異なる2箇所で輝度情報を取得する方法が記載されている。ここでスプレッドパラメータとは、輝度情報のぼけを示す代表値であり、光学系のポイントスプレッドファンクション(PSF)の分散と相関のある値である。また、PSFとは理想的な点像が光学系を通過した場合の光線の広がりを表した関数である。本先行技術に記載されている合焦判定方法のステップを説明すると図１２のようになる。

本合焦判定方法では、同一被写体、同一部位、同一視線方向からの最低２つの合焦判定用輝度情報を撮像画像のぼけ状態に影響を与える撮影パラメータを最低1つ変更することによって取得する。撮影パラメータとしては、フォーカスレンズ位置、絞り量、焦点距離などがあるが、以下の説明では図１３に示すように、フォーカスレンズ位置のみを変更する場合に限定して説明を行う。

図１２において、第１及び第２のカメラパラメータセットを規定した（ステップＳ１−１，Ｓ１−２）後、例えば図１３の焦点面FM1、FM2と対象物Dまでの光路長を変更するためにフォーカスレンズを所定の第１の位置(図１３(a))及び第２の位置(図１３(b))に移動し、それぞれ第１及び第２の輝度情報を取得する（ステップＳ２−１，Ｓ２−２）。次に、それぞれ取得した輝度情報に対して像倍率、輝度分布などの正規化処理が行われ（ステップＳ３−１，Ｓ３−２）、必要であれば取得した輝度情報中の合焦判定をすべき領域を選択する。この選択はどちらか一方の画像情報（ここでは第１の画像情報）に対して行い（ステップＳ４−１）、もう一方の画像情報（第２の画像情報）に対しては、第１取得画像の合焦判定画像処理領域に応じた第２取得画像の合焦判定領域が選定される（ステップＳ４−２）。

第1及び第2の輝度情報には輝度情報取得手段における電気的なノイズの情報も含まれるため、ボケ量算出の前処理として、選択された第１及び第２の輝度情報の合焦判定領域に対しノイズ除去のための演算とPSFの分散を算出するための演算などが行われる（ステップＳ５−１，５−２）。それら２つの処理演算結果を統合することによって、本手法における第1または第2の輝度情報に対応したPSFの分散が算出される（ステップＳ６）。算出されたPSFの分散から被写体距離は米国特許第４９６５８４０号に記載されているPSFの分散と被写体距離の関係式に基づいて求められる（ステップＳ７）。

また、米国特許第４９６５８４０号では、像面のある領域におけるPSFの分散と相関のあるスプレッドパラメータと合焦するフォーカスレンズ位置を実現するフォーカスレンズ駆動部の指令値の対応関係がテーブルとして予め取得されている。スプレッドパラメータは米国特許第５１９３１２４号に記載のMTFの比や米国特許第５１４８２０９号に記載のぼけの異なる2枚の画像それぞれのPSFの分散の差を表す値である。従って、合焦検出領域のスプレッドパラメータを算出し、前述のテーブルを参照して、合焦するフォーカスレンズ位置を実現する駆動用アクチュエータの移動指令値が生成される。

一方、J.K.Tyan氏の論文”Analysis and Application of Autofocusing and Three-Dimensional Shape Recovery Techniques based on Image Focus and Defocus”では上記の方法を使って画像全領域におけるデプスマップを作成しているが、光軸中心付近において、高い精度を得ているものの、光軸付近から外れるにしたがって誤差が大きくなっている結果が得られている。
米国特許第４９６５８４０号米国特許第５１９３１２４号米国特許第５１４８２０９号論文"Analysis and Application of Autofocusing and Three-Dimensional Shape Recovery Techniques based on Image Focus and Defocus"

上記先行技術に示した合焦検出法を像面上の任意の領域を合焦検出領域として選択できるカメラに実装するためには以下の課題がある。

上記の先行技術では、像面上のどの合焦検出領域を選んで合焦検出を行っても、光軸付近の輝度情報を用いて作成した像面上の全ての位置に共通した1つのテーブルを参照して測距を行うため、光軸付近における領域では測距精度を確保することができるが、それ以外の領域において誤差が増しており、この手法を用いて合焦検出を行う場合、全ての画像領域において精度を確保することは難しい。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、光軸以外の部分を含む全ての画像領域において合焦検出精度を確保することができる合焦情報取得装置を提供することにある。

上記の目的を達成するために、本発明の第１の態様は、被写体からの光が形成するぼけの異なる複数の画像のうち、少なくとも2つの画像において互いに対応する位置にある輝度情報抽出領域の輝度情報を取得し、該輝度情報を用いて前記輝度情報抽出領域のスプレッドパラメータを算出して、当該輝度情報抽出領域において被写体の合焦画像を撮像するように、当該被写体を撮像する撮像系の状態を設定するための合焦情報を取得する合焦情報取得装置であって、前記被写体の像を所定の位置に結像させる光学系と、撮像面上に結像された前記被写体の像を画像として撮像する撮像手段と、前記輝度情報が取得される前記輝度情報抽出領域に関する位置情報と、前記輝度情報から算出されるスプレッドパラメータとに基づいて、前記輝度情報が取得される輝度情報抽出領域内において前記被写体の合焦画像を撮像するための前記光学系の状態を設定する光学系設定情報を取得する制御手段と、を具備する。

また、本発明の第２の態様は、第１の態様において、前記制御手段は、前記前記輝度情報抽出領域に関する位置情報をパラメータとして、前記輝度情報から算出されるスプレッドパラメータと、前記光学系の状態を設定する光学系設定情報とが対応付けられたテーブルを参照して前記光学系設定情報を取得する。

また、本発明の第３の態様は、第１または第２の態様において、前記制御手段は、前記光学系設定情報を取得する際に、前記画像内の異なる位置に存在する各輝度情報抽出領域に対して、同一の位置情報を用いる。

また、本発明の第４の態様は、第１乃至第３のいずれか１つの態様において、前記位置情報は、前記輝度情報抽出領域の撮像面上における座標の情報である。

また、本発明の第５の態様は、第１乃至第４のいずれか１つの態様において、前記位置情報は、前記輝度情報抽出領域と前記光学系の光軸間の前記撮像面上における距離の情報である。

また、本発明の第６の態様は、第５の態様において、前記距離の情報は、前記輝度情報抽出領域の像高である。

また、本発明の第７の態様は、第５の態様において、前記距離の情報は、前記光学系の光軸から前記輝度情報抽出領域までのＸ方向およびＹ方向の距離の２乗和である。

また、本発明の第８の態様は、第５の態様において、前記距離の情報は、前光学系の光軸から前記輝度情報抽出領域までのマンハッタン距離である。

また、本発明の第９の態様は、第５の態様において、前記距離の情報は、前記光学系の光軸から前記輝度情報抽出領域までの距離に対応した符号である。

また、本発明の第１０の態様は、第２の態様において、前記画像に含まれる座標と、前記輝度情報抽出領域または当該輝度情報抽出領域の前記位置情報との対応関係を記憶する位置情報記憶手段と、操作者の希望する合焦位置を指定するための操作入力手段と、をさらに有し、前記制御手段は、前記操作入力手段を介して入力された指定位置の座標と、前記位置記憶手段に記憶された対応関係とに基づいて、前記輝度情報抽出領域からの輝度情報の抽出、前記輝度情報抽出領域の位置情報及び前記スプレッドパラメータの算出を行う。

また、本発明の第１１の態様は、第２の態様において、操作者の希望する合焦位置を指定するための操作入力手段と、前記操作入力手段を介して入力された指定位置に基づいて、前記輝度情報抽出領域または前記輝度情報抽出領域の位置情報を算出する位置情報算出手段と、をさらに有し、前記制御手段は、前記位置情報算出手段によって算出された位置情報に基づいて、前記輝度情報抽出領域からの輝度情報の抽出、前記輝度情報抽出領域の位置情報及び前記スプレッドパラメータの算出を行う。

また、本発明の第１２の態様は、被写体の合焦画像を撮像するように、当該被写体を撮像する撮像系の状態を設定するための合焦情報を取得する合焦情報取得装置であって、前記被写体の像を所定の位置に結像させる光学系と、撮像面上に結像された前記被写体の像を画像として撮影する撮像手段と、前記撮像手段で撮影したぼけの異なる複数の画像のうち、少なくとも２つの画像において互いに対応する位置にある輝度情報抽出領域の輝度情報を取得する輝度情報取得手段と、前記輝度情報が取得される前記輝度情報抽出領域に関する位置情報と、前記輝度情報から算出されるスプレッドパラメータとに基づいて、前記輝度情報が取得される輝度情報抽出領域内において前記被写体の合焦画像を撮像するための前記光学系の状態を設定する光学系設定情報を取得する制御手段と、を具備する。

また、本発明の第１３の態様は、第１２の態様において、前記制御手段は、前記輝度情報抽出領域に関する位置情報をパラメータとして、前記輝度情報から算出されるスプレッドパラメータと、前記光学系の状態を設定する光学系設定情報とが対応付けられたテーブルを参照して前記光学系設定情報を取得する。

本発明によれば、光軸以外の部分を含む全ての画像領域において合焦検出精度を確保することができる合焦情報取得装置が提供される。

（第１実施形態）
以下に、本発明の第１実施形態について図面を参照して説明する。ここでは光学系1であるフォーカスレンズの位置を変更して輝度情報取得手段である撮像部2で異なるぼけの像を得る構成に限定して述べる。

本発明の第１実施形態は、図１に示すように、光学系1と、撮像部2と、撮像処理部３と、画像記憶部４と、輝度情報抽出部５と、光学系制御部6と、輝度情報記憶部１１と、駆動部8と、駆動部状態検出部9と、スプレッドパラメータ算出部１０と、操作入力部７と、表示部１２と、テーブル記憶部１３と、位置情報記憶部１４と、から構成される。

上記駆動部8はモータなどのアクチュエータと、光学系1とアクチュエータを連結する鏡枠とで構成される。光学系1であるフォーカスレンズとモータを連結する鏡枠にモータが作用して光学系１を駆動し、対象物Dと焦点面（FM1,FM2）までの光路長を調整し、撮像部2上の像のぼけを制御する。

また、光学系１の位置の制御は、鏡枠の現在位置を駆動部状態検出部9の出力信号から検出し、その現在位置から所望の位置に配置するための信号が光学系制御部6で生成され、フィードバック系により制御される。この制御系はフィードフォーワード系のようなオープンループの制御系でもよく、上記の方法に限定しない。

光学系1を通過した光は撮像部2に結像し、撮像部2で光が電気信号に変換される。電気信号は撮像処理部3によってデジタル化され、デジタル化された像を画像と呼ぶ。操作入力部７はＡ．画像の表示、Ｂ．合焦検出領域の選択、Ｃ．合焦検出開始、Ｄ．本撮影、のそれぞれの状態を変更する機能を有している。Ａの状態では、画像は表示部１２に逐次表示される。また、Ｄの状態では画像の記録を目的とした撮影である本撮影を開始する。本撮影の状態で撮影された画像は画像記憶部４に記憶される。

次に、Ｂの状態では、表示部１２に表示された画像からユーザが合焦検出を行う領域の選択を行う。Ｃの状態では、Ｂの状態で選択された領域、またはユーザが任意の領域を指定せずにカメラによって指定された領域、に対する合焦検出が行われる。合焦検出用に抽出された画像を特にここでは輝度情報と呼ぶこととする。したがって本実施形態では、合焦検出領域は輝度情報抽出領域と同一の概念である。

以下では合焦検出領域の選択をユーザが行う場合について説明する。図５（ａ）に示すように、表示部12には光学系1によって結像された画像と、複数の合焦検出領域の候補の位置を示すマーカーCとが重畳して表示されている。ユーザは、例えば図４（ａ）に示すような操作入力部７を操作して図５（ａ）に示す候補から合焦検出を行うべき合焦検出領域を選択する。このとき選択する位置は複数であっても良い。

次に、操作入力部７により上記Ｃの状態が選択されたときの合焦検出の開始について述べる。光学系制御部６によって光学系1をあらかじめ定められた第1の位置(図１３（ａ）)及び第2の位置(図１３(b))に制御し、それぞれ第1及び第2の像を撮像部2によって撮影する。次に、撮影された画像から輝度情報抽出部５において前述の指定された領域の輝度情報を抽出する。ここで、領域の抽出は一度全ての画像領域を取り込んだ後に指定された領域に対応する領域のメモリをアクセスして取り出す方法や、CMOSセンサのようにハードウェアによる部分読み出しを行ってもよく、これらの抽出方法に限定しない。抽出された輝度情報は、輝度情報記憶部１１に記憶される。スプレッドパラメータ算出部１０では、これらの領域におけるぼけの異なる2つの輝度情報を用いて、PSFの分散と相関値を算出する。この算出方法は従来技術による方法や、その他の手法であっても良い。

次に、図１０を参照してテーブル記憶部１３に格納されたテーブルについて説明する。このテーブルは、スプレッドパラメータ（ＳＧ１，ＳＧ２，ＳＧ３，…）に対して、その値に対応した合焦像を得るフォーカスレンズ位置を実現するための駆動部8への指令値（ＳＴ１，ＳＴ２，ＳＴ３，…）と、各合焦検出領域の像面上の位置情報（Ｐ１，Ｐ２，Ｐ３，…）とを対応付けた構成であり、各値は離散値で記憶されている。また、それぞれの合焦検出領域に対応した位置情報（Ｐ１，Ｐ２，Ｐ３，…）は位置情報記憶部１４に記憶されている。図６はこの一例を示している。ここで位置情報とは、像面に定めた座標系のある一点の座標値を表す。

一方、像面上の位置によって光学系のPSFは異なるため、PSFの分散と相関のあるスプレッドパラメータの値は像面上の位置によって異なる。よって、図１０のテーブルに示すように、スプレッドパラメータだけでなく位置情報をもパラメータとして加えることにより、像面上のどの合焦検出領域を選択しても精度の良い測距を実現することができる。

また、第１実施形態では、像面上の位置をパラメータとしているが、光学系1が点対称であるならば、像面上の光軸からの距離をパラメータとしても良い。光軸に点対称な光学系のPSFは光軸を中心として同心円状に変化する。よって、図７に示すＰ３とＰ７のように、互いに位置が異なる場合であっても距離は等しい（いずれもＲ４）ので同一のPSFを持つと考えることができる。よって同一のテーブルを参照することができ、テーブルの容量を削減することができる効果が得られる。

ここで距離とは、合焦検出領域の中心と光軸との距離の離散値やその距離に対応した符号である。また、前述の距離の離散値は光軸からの像高、合焦検出領域の中心と光軸の水平・垂直方向の距離の和（マンハッタン距離）、二乗和である。また、距離は合焦検出領域の中心を基準にしているが、特にこれに限定するわけではなく、合焦検出領域内の特定の点を基準として光軸との距離としてもよい。

次に、位置情報記憶部１４には各合焦検出領域に対応した位置情報が記憶されているので、光学系制御部６は操作入力部７によって選択された合焦検出領域に対応する位置情報P3を位置情報記憶部１４から読み出し、当該位置情報と、スプレッドパラメータ算出部１０で算出したスプレッドパラメータとに基づいて、テーブル記憶部１３に記憶されたテーブルから、光学系1を合焦となる位置に駆動するための駆動部8への指令値を読み出す。その指令値は駆動部8に渡され、合焦する位置に光学系１を配置し、合焦検出が完了する。

ここで、算出したスプレッドパラメータがテーブルの要素として存在しない場合はその値に最も近いものや近傍の値を使って線形補間して指令値を求めても良い。

第１実施形態では、スプレッドパラメータと指令値が対応付けられたテーブルについて述べたが、スプレッドパラメータ、指令値をパラメータとする関数によってこれらの関係を表し、テーブルには位置情報に対応したこの関数の係数が記憶されている構成であっても良い。このとき、この方程式は実験的に算出した値を線形近似した近似式であっても良い。また、スプレッドパラメータと被写体距離が対応しているテーブルと、被写体距離と指令値が対応付けられたテーブルが記憶されている形態や、スプレッドパラメータと被写体距離のテーブルには、その関係を表す関数の係数が記憶されていてもよく、その関数は実験的に求めた値の近似式であっても良い。また、同様に被写体距離と駆動部8への指令値のテーブルもその関係を表す係数が記憶されている形態でも良い。上記に示すように、関数の係数を中間パラメータとして、これらのみを記憶する場合や、被写体距離を中間パラメータとして、最終的に駆動部への指令値を出力する構成であれば良い。

なお、第１実施形態は光学系1が駆動して複数のぼけ輝度情報を得る場合について述べたが、絞り径を変えて異なるぼけの輝度情報の取得や、レンズが流体による構成でその屈折率を変化させて異なる光路長の輝度情報を実現し、スプレッドパラメータの算出を行っても良い。また、上記に示すレンズ位置、絞り径、レンズの屈折率は少なくとも一つが変更されれば良く、同時に複数を変更してもかまわない。

また、光学系1は複数のレンズ群、たとえばズームレンズやフォーカスレンズ、絞り、光学フィルタなどによって構成される。一眼レフカメラの場合には、レフミラーなどの光学素子も光学系1に含む。次に、撮像部2は合焦検出用に別途撮像素子を配置してもよい。また、撮像素子の種類に限定されるものではなく、CCDやCMOS、1次元のラインセンサであってもよい。スプレッドパラメータ算出部１０は演算処理を行うマイクロプロセッサであり、処理に応じて複数存在しても良くASICやFPGAなどを用いて実現することができる。光学系制御部6は駆動部8の駆動用回路や制御を行うための演算処理を行う手段を備えている。

画像記憶部４と輝度情報記憶部１１は不揮発性記憶装置などによって構成されており、交換可能であってもよく、同一の記憶装置に実現されていても良い。駆動部8は電磁モータ、圧電素子、超音波駆動型モータなどによって構成される。また、駆動部状態検出部9は駆動部8の速度、角速度、位置、温度、圧力、光量などを検出するセンサで、ジャイロセンサ、エンコーダ、加速度計、温度計、圧力計、光量を測定する受光素子などによって構成される。

（第１実施形態の第１の変形例）
第１実施形態では光学系が可動の場合について述べたが、光学系を固定とし、撮像部を駆動可能としてもよい。この場合、撮像部に駆動部と駆動部状態検出部が取り付けられる。撮像部を2箇所の位置に駆動することによって、撮像部はぼけの異なる輝度情報を取得することができる。テーブルには撮像部を駆動するための指令値とスプレッドパラメータの関係が保存される。そしてこのテーブルには前述の合焦検出領域と光軸との位置情報が記憶されるので、第１実施形態で示した効果と同等の効果を得ることができる。

（第１実施形態の第２の変形例）
また、図３（ｂ）に示すように、光学系１、撮像部２が共に駆動可能であってもよい。この場合、光学系1、撮像部2にそれぞれ駆動部8a,8bと駆動部状態検出部9a,9bが取り付けられる。このような構成であっても第１実施形態の効果と同様の効果が得られる。テーブルには駆動部8a,8b、9a,9bへの指令値とスプレッドパラメータの関係が記憶されている。そしてさらにこのテーブルには合焦検出領域と光軸との位置情報が記憶される。この形態においては光学系1の可動範囲が限定されているような場合においても、光学系1と撮像部２を両方駆動することによって、限られたスペース内で有効に本合焦検出法を行うことが可能となる。

（第１実施形態の第３の変形例）
また、本発明は、図３（ｃ）に示すような一眼レフカメラに適用することができる。この構成では、光学系1a-1を通過した光はクイックリターンミラー1a-2により反射され、ファインダー光学系1a-4に導かれる。表示部12は、図６に示すような合焦検出領域の候補から例えばC３を撮影像に重畳して表示する仕組みになっている。この像は図４（ｂ）のファインダー光学系1a-4から参照することができる。図６の合焦検出領域の候補から実際にどの領域を選択するかは例えば操作入力部７を介して行われる。また、図５（ｂ）のようにポインタC2と操作入力部７が連動して合焦検出領域を選択できる構成であっても良い。

次に図３（ｃ）において、クイックリターンミラー1a-2の一部は半透過で、その領域を通過した光はレフミラー1a-3によって撮像部2b-1に導かれる。さらにこの光線において、光路長の異なる像を2つの撮像部2b-1,2b-2によって同時に取得するために光路を分割するハーフミラー1b-1,全反射ミラー1b-2を備えている。

本構成では、本撮影時に画像を取得するための撮像部2aをさらに備えており、上記した撮像部2b-1,2b-2は合焦検出を行うための専用センサとして機能する。この専用センサによってぼけの異なる輝度情報を取得できる。この場合、テーブルには光学系1を制御するための駆動部8への指令値とスプレッドパラメータの関係が記憶される。さらに、合焦検出領域と光軸との位置情報が記憶されており、第１実施形態の効果と同等の効果を得ることができる。

（第２実施形態）
第２実施形態のハードウェア構成を図２に示す。第１実施形態では、合焦検出領域と位置情報が1対1に対応しており、ユーザが予め指定された合焦検出領域の候補の中から所定の領域を選択する場合について述べたが、第２実施形態ではユーザが任意の領域を選択できる場合について述べる。なお、テーブルは距離情報をパラメータとする場合について述べる。

表示部12には撮影画像と操作入力部７と連動したポインタC2が表示される。ユーザは操作入力部７でポインタC2を操作し合焦検出を行う位置を指定する。操作入力部７がＣの状態に変化し、合焦検出を開始すると光学系制御部６によって光学系1をあらかじめ定められた第1の位置(図１３（ａ）)及び第2の位置(図１３（ｂ）)に制御し、それぞれ第1及び第2の像を撮像部2によって撮影する。

撮影された画像は輝度情報抽出部５によって、前述の合焦検出位置に対応した領域の輝度情報を抽出する。輝度情報の抽出は指定したポインタの位置C2を中心とする四角形の領域を動的に抽出する場合に限定して述べるが、指定したポインタの位置C2は四角形の頂点の一つであってもよく、また合焦検出領域の形状は四角形に限定しない。なお、CMOSセンサのようにハードウェアによって部分読み出しが可能である領域が予め決定されている場合、指定された位置C2を含むような合焦検出領域A1、またはC2に最も近接した合焦検出領域を抽出する構成であっても良い。このように、ポインタC2によって合焦検出領域の選択をすることによって、合焦検出領域内に距離の異なる複数の被写体が混在することを防ぐことができる。

次に、抽出された輝度情報は輝度情報記憶部１１に記憶される。これらの領域におけるぼけの異なる2つの輝度情報は、スプレッドパラメータ算出部１０でPSFの分散と相関値を算出する。この算出方法は従来技術による方法や、その他の手法であっても良い。

次に、ポインタC2の距離情報を計算する位置情報算出部１５について述べる。ここで距離情報は指定したポインタC2までの光軸からの像高を表す。この距離は第１実施形態でも述べたように、合焦検出領域の中心と光軸の水平・垂直方向の距離の和（マンハッタン距離）、二乗和である。また、距離は合焦検出領域の中心を基準にしているが、特にこれに限定するわけではなく、合焦検出領域内の特定の点を基準として光軸との距離としてもよい。位置情報算出部１５はこのポインタC2までの距離ｒを算出する。ここで距離ｒはC2の座標値から上記の方法で計算して求める形態で述べるが、座標値と距離の関係がルックアップテーブルで記憶されていてもよい。

テーブル記憶部１３には前記したようにテーブル（図１０）が記憶されている。このテーブルは、スプレッドパラメータに対して、その値に対応した合焦像を得るフォーカスレンズ位置を実現するための駆動部8への指令値と、各合焦検出領域の像面上の光軸からの距離情報とを対応付けた構成であり、各値は離散値で記憶されている。この距離情報は像面を図のように同心円状(図８（ａ）)、四角形(図８（ｂ）)に分割し、それぞれの領域における距離の代表値(R1〜R5)を表している。

そして、位置情報算出部１５は前述に算出した合焦検出領域の距離ｒが、分割された像面上（図８（ａ）（ｂ）Ｒ１〜Ｒ５）のどの位置に対応するかを判断し、合焦検出領域に対応する距離情報（Ｒ１〜Ｒ５）を導き出す。判断の手法の一例として、図８（ａ）中のポインタC2の位置における距離ｒが含まれるような合焦検出領域Ａ１の代表値R2を選ぶ手法が挙げられる(図８（ａ）,C2)。また、合焦検出領域A2内の距離情報が占める面積の比により、代表値をR3と決めてもよく(図８（ａ）,C2’)、これらの手法に限定しない。

次に、合焦検出領域に対応した距離情報が決定されると、スプレッドパラメータのテーブルからその距離情報に対応した要素を読み出し、合焦となるレンズ位置に駆動するための指令値が読み出される。なお、位置情報のパラメータを距離情報に限定して述べたが、図８（ｃ）のように各グリッドに位置情報が対応しており、位置情報をパラメータとしたスプレッドパラメータのテーブルが記憶されていても第１実施形態と同等の効果が得られる。

以上では、距離情報が同心円状、格子状に均等に分割された各々の領域に対応している場合について説明したが、必ずしも均等に分割されていなくとも良い。例えば、光学系に偏心があって光学中心と像面中心とが一致しないような場合には、同心円状に分割するのではなく、図９（ａ）に示すように偏った光学中心に合わせて分割を行うことによって、収差の変化に合わせて距離情報を対応付けることができ、最適なスプレッドパラメータのテーブルを形成することができる。

また、非球面プリズムのような点対称でない光学系に偏心がある場合には、図９（ｂ）に示すように、像面を非均一に分割することによって第１実施形態と同等の効果を得ることができる。

また、第２実施形態では、スプレッドパラメータと指令値の離散値が対応付けられたテーブルについて述べたが、スプレッドパラメータ、指令値をパラメータとする関数によってこれらの関係を表し、テーブルには距離情報に対応したこの関数の係数が記憶されている構成であっても良い。このとき、この方程式は実験的に算出した値を線形近似した近似式であっても良い。また、スプレッドパラメータと被写体距離が対応しているテーブルと、被写体距離と指令値が対応付けられたテーブルが記憶されている形態や、スプレッドパラメータと被写体距離のテーブルには、その関係を表す関数の係数が記憶されていてもよく、その関数は実験的に求めた値の近似式であっても良い。また、同様に被写体距離と駆動部8への指令値のテーブルもその関係を表す係数が記憶されている形態でも良い。上記に示すように、関数の係数を中間パラメータとして、これらのみを記憶する場合や、被写体距離を中間パラメータとして、最終的に駆動部への指令値を出力する構成であれば良い。

本発明の第１実施形態の合焦点取得手段の構成を示す図である。本発明の第２実施形態の合焦点取得手段の構成を示す図である。（ａ）は第１、第２実施形態において、合焦点取得手段をカメラ内部に実装した場合の例を示し、（ｂ）は第１実施形態の第１、第２の変形例を示し、（ｃ）は第１実施形態の第３の変形例を示す図である。（ａ）は第１、第２実施形態における表示部と操作部の例を示し、（ｂ）は第１実施形態の第３の変形例における表示部と操作部の例を示す図である。（ａ）は第１実施形態における領域選択を行う際の表示部に表示される情報の例を示し、（ｂ）は第２実施形態における領域選択を行う際の表示部に表示される情報の例を示す図である。第１実施形態における領域分割とその領域に対応した位置情報を示す図である。第１実施形態における領域分割とその領域に対応した距離情報を示す図である。（ａ）〜（ｃ）は第２実施形態における領域分割とその領域に対応した距離情報を示す図である。（ａ）及び（ｂ）は距離情報の変形例を示す図である。第１、第２実施形態におけるテーブルを示す図である。第１、第２実施形態におけるテーブルを示す図である。従来の合焦判定方法のステップを説明するための図である。フォーカスレンズのみを変更する場合の合焦判定について説明するための図である。

符号の説明

１光学系
２撮像部
３撮像処理部
４画像記憶部
５輝度情報抽出部
６光学系制御部
７操作入力部
８駆動部
９駆動部状態検出部
１０表示部
１１輝度情報記憶部
１２スプレッドパラメータ算出部
１３テーブル記憶部
１４位置情報記憶部
１５位置情報算出部

Claims

被写体からの光が形成するぼけの異なる複数の画像のうち、少なくとも2つの画像において互いに対応する位置にある輝度情報抽出領域の輝度情報を取得し、該輝度情報を用いて前記輝度情報抽出領域のスプレッドパラメータを算出して、当該輝度情報抽出領域において被写体の合焦画像を撮像するように、当該被写体を撮像する撮像系の状態を設定するための合焦情報を取得する合焦情報取得装置であって、
前記被写体の像を所定の位置に結像させる光学系と、
撮像面上に結像された前記被写体の像を画像として撮像する撮像手段と、
前記輝度情報が取得される前記輝度情報抽出領域に関する位置情報と、前記輝度情報から算出されるスプレッドパラメータとに基づいて、前記輝度情報が取得される輝度情報抽出領域内において前記被写体の合焦画像を撮像するための前記光学系の状態を設定する光学系設定情報を取得する制御手段と、
を具備することを特徴とする合焦情報取得装置。
前記制御手段は、前記輝度情報抽出領域に関する位置情報をパラメータとして、前記輝度情報から算出されるスプレッドパラメータと、前記光学系の状態を設定する光学系設定情報とが対応付けられたテーブルを参照して前記光学系設定情報を取得することを特徴とする請求項１に記載の合焦情報取得装置。
前記制御手段は、前記光学系設定情報を取得する際に、前記画像内の異なる位置に存在する各輝度情報抽出領域に対して、同一の位置情報を用いることを特徴とする請求項１または２に記載の合焦情報取得装置。
前記位置情報は、前記輝度情報抽出領域の撮像面上における座標の情報であることを特徴とする請求項１乃至３のいずれか１つに記載の合焦情報取得装置。
前記位置情報は、前記輝度情報抽出領域と前記光学系の光軸間の前記撮像面上における距離の情報であることを特徴とする請求項１乃至４のいずれか１つに記載の合焦情報取得装置。
前記距離の情報は、前記輝度情報抽出領域の像高であることを特徴とする請求項５に記載の合焦情報取得装置。
前記距離の情報は、前記光学系の光軸から前記輝度情報抽出領域までのＸ方向およびＹ方向の距離の２乗和であることを特徴とする請求項５に記載の合焦情報取得装置。
前記距離の情報は、前光学系の光軸から前記輝度情報抽出領域までのマンハッタン距離であることを特徴とする請求項５に記載の合焦情報取得装置。
前記距離の情報は、前記光学系の光軸から前記輝度情報抽出領域までの距離に対応した符号であることを特徴とする請求項５に記載の合焦情報取得装置。
前記画像に含まれる座標と、前記輝度情報抽出領域または当該輝度情報抽出領域の前記位置情報との対応関係を記憶する位置情報記憶手段と、
操作者の希望する合焦位置を指定するための操作入力手段と、
をさらに有し、
前記制御手段は、前記操作入力手段を介して入力された指定位置の座標と、前記位置記憶手段に記憶された対応関係とに基づいて、前記輝度情報抽出領域からの輝度情報の抽出、前記輝度情報抽出領域の位置情報及び前記スプレッドパラメータの算出を行うことを特徴とする請求項２に記載の合焦情報取得装置。
操作者の希望する合焦位置を指定するための操作入力手段と、
前記操作入力手段を介して入力された指定位置に基づいて、前記輝度情報抽出領域または前記輝度情報抽出領域の位置情報を算出する位置情報算出手段と、をさらに有し、
前記制御手段は、前記位置情報算出手段によって算出された位置情報に基づいて、前記輝度情報抽出領域からの輝度情報の抽出、前記輝度情報抽出領域の位置情報及び前記スプレッドパラメータの算出を行うことを特徴とする請求項２に記載の合焦情報取得装置。
被写体の合焦画像を撮像するように、当該被写体を撮像する撮像系の状態を設定するための合焦情報を取得する合焦情報取得装置であって、
前記被写体の像を所定の位置に結像させる光学系と、
撮像面上に結像された前記被写体の像を画像として撮影する撮像手段と、
前記撮像手段で撮影したぼけの異なる複数の画像のうち、少なくとも２つの画像において互いに対応する位置にある輝度情報抽出領域の輝度情報を取得する輝度情報取得手段と、
前記輝度情報が取得される前記輝度情報抽出領域に関する位置情報と、前記輝度情報から算出されるスプレッドパラメータとに基づいて、前記輝度情報が取得される輝度情報抽出領域内において前記被写体の合焦画像を撮像するための前記光学系の状態を設定する光学系設定情報を取得する制御手段と、
を具備することを特徴とする合焦情報取得装置。
前記制御手段は、前記輝度情報抽出領域に関する位置情報をパラメータとして、前記輝度情報から算出されるスプレッドパラメータと、前記光学系の状態を設定する光学系設定情報とが対応付けられたテーブルを参照して前記光学系設定情報を取得することを特徴とする請求項１２に記載の合焦情報取得装置。