JP2015034732A - 距離算出装置、撮像装置および距離算出方法 - Google Patents

Abstract

【課題】ＤＦＤ方式における測距精度を向上する。【解決手段】異なる撮影パラメータを用いて撮影されたぼけが異なる２つの画像から被写体の距離情報を算出する距離算出装置であって、第１および第２画像のそれぞれから、第１周波数成分と、それよりも低い周波数帯の第２周波数成分とを抽出する抽出手段と、抽出した周波数成分から距離情報を算出する距離算出手段と、を備え、距離算出手段は、第１および第２画像の第１周波数成分のぼけの違いから第１距離依存値を算出する第１距離依存値算出手段と、第１および第２画像の前記第２周波数成分のぼけの違いから第２距離依存値を算出する第２距離依存値算出手段と、第１距離依存値と第２距離依存値に基づいて、距離情報を算出する距離情報算出手段と、を含む。【選択図】図２

Description

本発明は、撮影条件を変えて撮影した複数の画像から被写体までの距離を算出する技術に関する。

撮像装置によって取得された二次元画像から画像中の被写体の奥行方向の距離を取得する方法として特許文献１のようなＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）方式が提案されている。ＤＦＤ方式では撮像光学系の撮影条件（撮影パラメータともいう）を制御することでぼけの異なる複数枚の画像を取得し、測距対象画素およびその周辺画素を用いて複数画像間でのぼけの大きさやぼけの相関量を算出することで被写体の距離情報を取得する。

ぼけの大きさやぼけの相関量は撮像光学系の合焦位置から被写体までの距離に応じて変化するため、その関係を用いて被写体の距離を算出することができる。ＤＦＤ方式による距離計測は、１つの撮像光学系によって距離を算出することが可能であるため、デジタルカメラなどの民生品の撮像装置に組み込み易いといった利点を有する。

特許文献２は、ＤＦＤ方式を用いて処理対象領域毎に演算したぼけの相関量から被写体距離を算出する測距装置であって、処理対象領域内の画素毎に画素単位のぼけの相関量に重み係数を設定し、重み係数に基づいてぼけの相関量の加重平均を行うものである。これにより、被写体距離が空間変動する場合でも高い精度で測距を行える。

特開平０１−１６７６１０号公報 特開２０１０−０１６７４３号公報

一般的な被写体には、縞模様、格子模様、市松模様など周期的な幾何学模様のデザインの物体がある。例えば、洋服や建築物、家電製品などにこのようなデザインが採用されることがある。これらのデザインは含まれる周波数帯が限定されており、特に測距に用いる高周波成分が含まれる量が少ない傾向にある。このように、測距に用いる高周波成分が含まれる量が少ないテクスチャを有した被写体の距離情報を算出した場合、ぼけの変化を正確に検出することが難しく、距離情報の計測精度が低下することが問題であった。

特許文献１に記載の方法では、被写体のテクスチャの周波数成分に依存する距離情報の計測精度の低下を改善することができない。また、特許文献２に記載の方法でも同様に、被写体のテクスチャの周波数成分に依存する距離情報の計測精度の低下を改善することができない。

また、ＤＦＤ方式においては、被写体位置がフォーカス位置から離れるにしたがって、上記の相関量（距離依存値）の値は小さくなる。しかしながら、フォーカス位置からの距離が大きくなりすぎると逆に相関量が大きくなる。この領域は、本来は測距不可能な範囲とすべきであるが、特許文献１，２のようにこの点についての考慮がなされていない方法では、誤った距離が算出されてしまう。

このように、被写体に含まれる周波数によらず適切な距離計測を可能とすることや、正しい距離算出が不可能な領域を検出可能とすることは、より精度の高い距離計測に役立つ。

上記課題を考慮して、本発明は、ＤＦＤ方式の距離計測において、距離情報を精度良く計測することを目的とする。

本発明の第一の態様は、異なる撮影パラメータを用いて撮影されたぼけが異なる第１画像と第２画像から被写体の距離情報を算出する距離算出装置であって、前記第１画像および前記第２画像のそれぞれから、第１周波数帯の成分である第１周波数成分と、前記第１周波数帯よりも低い第２周波数帯の成分である第２周波数成分とを抽出する抽出手段と、前記抽出手段が抽出した周波数成分から前記距離情報を算出する距離算出手段と、を備え、前記距離算出手段は、前記第１画像の前記第１周波数成分と前記第２画像の前記第１周波数成分とのぼけの違いから第１距離依存値を算出する第１距離依存値算出手段と、前記第１画像の前記第２周波数成分と前記第２画像の前記第２周波数成分とのぼけの違いから第２距離依存値を算出する第２距離依存値算出手段と、前記第１距離依存値と前記第２距離依存値に基づいて、前記距離情報を算出する距離情報算出手段と、を含む、距離算出装置である。

本発明の第２の態様は、異なる撮影パラメータを用いて撮影されたぼけが異なる第１画像と第２画像から被写体の距離情報を算出する距離算出装置であって、前記第１画像および前記第２画像のそれぞれから、ｎ（ｎは２以上の整数）個の周波数帯の周波数成分を抽出する抽出手段と、前記抽出手段が抽出した周波数成分から前記距離情報を算出する距離算出手段と、を備え、前記距離算出手段は、前記ｎ個の周波数成分のそれぞれについて、前記第１画像および前記第２画像から抽出された周波数成分に基づいて距離依存値を算出する距離依存値算出手段と、前記第１画像に含まれる各領域が、ｉ（iは１以上ｎ−１以
下の整数）番目に高い周波数成分に基づいて測距可能であるか否かを、ｉ＋１番目に高い周波数成分に対応する距離依存値から判断する判断手段と、前記距離情報算出手段は、前記第１画像に含まれる各領域について、当該領域の測距が可能な周波数成分のうち最も高い周波数成分に対応する距離依存値に基づいて、前記距離情報を算出する距離情報算出手段と、を含む、距離算出装置である。

本発明の第３の態様は、異なる撮影パラメータを用いて撮影されたぼけが異なる第１画像と第２画像から被写体の距離情報を算出する距離算出方法であって、前記第１画像および前記第２画像のそれぞれから、第１周波数帯の成分である第１周波数成分と、前記第１周波数帯よりも低い第２周波数帯の成分である第２周波数成分とを抽出する抽出ステップと、前記抽出ステップにおいて抽出された周波数成分から前記距離情報を算出する距離算出ステップと、を含み、前記距離算出ステップは、前記第１画像の前記第１周波数成分と前記第２画像の前記第１周波数成分とのぼけの違いから第１距離依存値を算出する第１距離依存値算出ステップと、前記第１画像の前記第２周波数成分と前記第２画像の前記第２周波数成分とのぼけの違いから第２距離依存値を算出する第２距離依存値算出ステップと、前記第１距離依存値と前記第２距離依存値に基づいて、前記距離情報を算出する距離情報算出ステップと、を含む、距離算出方法である。

本発明の第４の態様は、異なる撮影パラメータを用いて撮影されたぼけが異なる第１画像と第２画像から被写体の距離情報を算出する距離算出方法であって、前記第１画像および前記第２画像のそれぞれから、ｎ（ｎは２以上の整数）個の周波数帯の周波数成分を抽出する抽出ステップと、前記抽出手段が抽出した周波数成分から前記距離情報を算出する距離算出ステップと、を含み、前記距離算出ステップは、前記ｎ個の周波数成分のそれぞ
れについて、前記第１画像および前記第２画像から抽出された周波数成分に基づいて距離依存値を算出する距離依存値算出ステップと、前記第１画像に含まれる各領域が、ｉ（i
は１以上ｎ−１以下の整数）番目に高い周波数成分に基づいて測距可能であるか否かを、ｉ＋１番目に高い周波数成分に対応する距離依存値とから判断する判断ステップと、前記第１画像に含まれる各領域について、当該領域の測距が可能な周波数成分のうち最も高い周波数成分に対応する距離依存値に基づいて、前記距離情報を算出する距離情報算出ステップと、を含む、距離算出方法である。

本発明によれば、ＤＦＤ方式の距離計測において、距離情報を精度良く計測することが可能となる。

撮像光学系のフォーカス位置の説明図 実施例１に係る撮像装置の構成 フォーカスブラケット撮影時の画像の鮮鋭度と距離依存値の説明図 周波数別の距離依存値の説明図 実施例１に係る距離検出方法のフローチャート 実施例２の撮像装置の構成 周波数別の距離依存値の説明図 実施例２に係る距離検出方法のフローチャート 前後判定反映後の距離依存値の説明図 実施例２における距離マップ作成を説明する図 実施例３に係る撮像装置の構成 前後判定反映後の距離依存値の説明図 測距範囲内の前後判定反映後の距離情報の説明図 実施例３に係る距離検出方法のフローチャート

本発明は、ＤＦＤ方式による距離算出技術に関する。すなわち、本発明は、撮影条件を変えて撮影した２枚以上の画像を用い、それらの画像のぼけの違いに基づいて被写体の奥行方向の距離情報を算出する距離算出技術に関する。本明細書では、複数のチャンネルを有する撮像装置で撮影した画像を用いた場合であっても、ＤＦＤ方式により被写体の距離情報を精度良く算出する技術を提案する。係る距離検出技術は、例えば、デジタルカメラやデジタルビデオカメラ、監視カメラ等の撮像装置に搭載される画像処理装置（画像処理エンジン）の一機能として実装することができる。距離検出の結果は、撮影画像に対する各種画像処理（被写体切出し、背景ぼかし、ぼけ効果付与、美肌処理、超解像処理等）に利用される。

＜距離情報算出の原理＞
図１は、撮像光学系のフォーカス位置を模式的に示す図である。図１を用いて、距離情報算出の為の撮影方法の１つであるフォーカスブラケット撮影について説明する。

図１には、撮像光学系１０、撮像素子１１、制御部１２が描かれている。撮像光学系１０は複数のレンズから構成される。撮像素子１１はＣＭＯＳやＣＣＤなどのイメージセンサである。制御部１２は撮像光学系を制御する。

距離情報算出用の画像を撮影する場合、まず制御部１２にて撮像光学系１０のフォーカスを第１のフォーカス位置Ｏｂｊ１に設定し、実線で示される光路を経て被写体を撮影する。続いて、制御部１２にて撮像光学系１０のフォーカスを第２のフォーカス位置Ｏｂｊ
２に変更し、破線で示される光路を経て同じ被写体を撮影する。これにより、ぼけが異なる２枚の画像を取得できる。このように、撮影条件（撮影パラメータ）のうちフォーカス位置を変更する撮影方法をフォーカスブラケット撮影と呼ぶ。この他、撮影条件を変更して２枚の画像のぼけを異ならせる撮影方法として、２枚の画像を撮影する際に開口絞り径を変更するアパーチャーブラケット撮影がある。ぼけが異なる２枚（または複数枚）の画像の撮影方法は、フォーカスブラケット撮影でもアパーチャーブラケット撮影でも、また他の撮影方法でもよい。

また、図１では１枚のイメージセンサを有する撮像素子を例に挙げたが、それに限ったものではなく、色毎にイメージセンサを配置した３枚の撮像素子（所謂三板式の撮像素子）を用いてもよい。

本実施例の距離情報算出では、２枚の撮影画像の同じ被写体が写る小領域における相関を利用して距離情報を推定する。２枚の画像を撮影する間に、手ブレや被写体の移動が無い場合には同じ場所の小領域を用いるが、手ブレや被写体の移動がある場合には位置合わせ処理によって探索した同じ被写体が写る小領域を用いる。以下、手ブレや被写体の移動は無いものとして説明するが、手ブレや被写体の移動はある場合でも同じ被写体が写る小領域を用いれば同様に扱うことができる。

被写体が撮像光学系１のフォーカス位置にある場合は高い鮮鋭度を有するが、被写体が撮像光学系１のフォーカス位置から離れるに従って鮮鋭度が低下する。そして、ある程度以上離れると鮮鋭度はなくなってしまう。

本実施例では、２枚の撮影画像（第１画像および第２画像）から特定の周波数帯域の周波数成分を抽出し、抽出した２枚の周波数成分のぼけの変化を検出して被写体の距離情報を推定している。

具体的には、２枚の撮影画像の同じ場所の小領域から特定の周波数成分を抽出し、抽出した２枚の周波数成分における相関量を算出し、相関量から被写体の距離情報を算出する。２枚の周波数成分の小領域における相関量ＮＣＣは式（１）で算出される。

ここで、Ｉ１iは第１撮影画像の小領域における信号値、Ｉ１avは第１撮影画像の小領域
における信号値の平均値、Ｉ２iは第２撮影画像の小領域における信号値、Ｉ２avは第２
撮影画像の小領域における信号値の平均値である。

フォーカスブラケット方式のＤＦＤ方式において相関量が最も高くなるのは２枚の画像のフォーカス位置の中間点の位置であり、そこから離れるに従って相関量は低下する。これを用いれば、被写体が２枚の画像のフォーカス位置の中間点からどれ位離れた位置にあるかが分かる。

一方、被写体が２枚の画像のフォーカス位置の中間点に対して、前側（撮像装置側）に位置するのか、後側に位置するのかを区別することもできる。

具体的には、下記の式（２）の条件が成立する場合は、被写体は２枚の撮影画像のフォーカス位置の中間点よりも第１撮影画像のフォーカス位置側にある。

一方、下記の式（３）の条件が成立する場合は、被写体は２枚の撮影画像のフォーカス位置の中間点よりも第２撮影画像のフォーカス位置側にある。

なおここでは、第１撮影画像のフォーカス位置は２枚の画像のフォーカス位置の中間点よりも前側（撮像装置側）にあり、第２撮影画像のフォーカス位置は後側にあるものとする。

このように、被写体の位置が２枚の撮影画像のフォーカス位置の中間点に対して前方にあるか公報にあるかを判定可能である。また、式（１）に基づいて、被写体の位置が２枚の撮影画像のフォーカス位置からのどれだけ離れているか判断可能である。したがって、前後判定結果を式（１）により算出した相関量に反映させることにより、フォーカス位置との前後関係を考慮した距離依存値を算出することができる。前後判定の反映方法は、前側と判定された画素における相関量ＮＣＣを下記の式（４）で変換することで、前後判定反映後の距離依存値ＤＳを取得することができる。

本実施例では、以降の処理において前後判定反映後の距離依存値を用いる。しかしながら、フォーカス位置の中間点からのずれ量のみが必要で、前後の判定が必要ない場合には、上記の相関量を距離依存値として採用しても構わない。

距離依存値を距離情報に変換する場合には、デフォーカス位置と各周波数成分における相関量の変化との関係を予め算出して格納しておき、２枚の周波数成分から算出した相関量から逆算してデフォーカス位置を求めればよい。

上記の距離依存値算出に用いる周波数成分の抽出方法には２通りある。１つは、実空間用に設計したバンドパスフィルタを撮影画像に畳込み演算して特定の周波数帯の周波数成分のみを抽出する方法である。これは実空間上だけで画像処理をすることができるので演算コストが安価であるメリットがある。もう一つは、撮影画像をフーリエ変換して周波数空間の画像に変換してから、特定の周波数帯の周波数成分だけを抽出し、それを逆フーリエ変換して実空間画像に戻す方法である。こちらは、特定の周波数帯だけをきれいに抽出可能であるメリットがある。

ここでの距離情報は２枚の画像のフォーカス位置の中間点からの相対的な距離であるが、撮像装置から被写体までの距離を求めることもできる。それにはまず、式（５）を用いて撮像装置から撮像光学系のフォーカス位置までの距離Ｓobjを求める必要がある。

ただし、Ｓimgは撮像光学系から像面までの距離、ｆは撮像光学系の焦点距離である。

まず、式（５）によって、撮像装置から第１の画像を撮影した際のフォーカス位置までの距離Ｓobj１、撮像装置から第２の画像を撮影した際のフォーカス位置までの距離Ｓobj２を求める。そして、式（６）によって、撮像装置からフォーカスブラケットの中間点までの距離Ｓobj３を求めることができる。

なお、ここでは第１撮影画像および第２撮影画像の特定の周波数成分の相関に基づいて距離依存値を算出する例を説明したが、その他の方法により距離依存値を求めてもよい。例えば、第１撮影画像および第２撮影画像の特定の周波数成分におけるピーク値の比を距離依存値としてもよい。周波数成分のピーク値もデフォーカス量によって変化する量であるため、ピーク値の比に基づいて距離依存値を算出できる。また、第１撮影画像と第２撮影画像のピークのどちらが大きいかに基づいて、第１撮影画像と第２撮影画像のフォーカス位置の中間の前にあるか後ろにあるか判断もできる。

また、Ｆ値を変化させるアパーチャーブラケット方式により２枚の撮影画像にぼけの変化を付けた場合、そこで求まる被写体の距離情報は撮像光学系のフォーカス位置からの相対的な距離となる。同様に、撮像装置から被写体までの距離を求めることもできる。

本実施例において算出する距離情報は、撮像装置と被写体との間の実際の距離に対応していれば、どのような情報であってもよい。たとえば、像面側のデフォーカス量であってもよいし、距離依存値（相関値や輝度ピーク比）と周波数などの情報でもよい。これらの距離情報は、実際の距離と対応しており、必要に応じて実際の距離を算出することができるものである。実際の距離の必要性はアプリケーションに依存するが、例えば、被写体切出し、背景ぼかし、ぼかし効果付与などのアプリケーションにおいては距離情報のみで実現できる。

＜実施例１＞
図２は、本発明の第1の実施例に係る撮像装置の構成を模式的に示している。撮像装置
１は、撮像光学系１０、撮像素子１１、制御部１２、画像処理装置（距離算出装置）１３、記憶部１４を有している。

画像処理装置１３は、信号処理部１３０、メモリ１３１、周波数成分抽出部１３２、距離算出部１３３などを有している。信号処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号・色差信号変換、収差補正、ホライトバランス補正、色補正、ガンマ補正など各種信号処理を行う機能である。信号処理部１３０から出力されるデジタル画像信号はメモリ１３１に蓄積され、記憶部１４への記録（保存）、距離情報算出などのために供給される。

周波数成分抽出部１３２は、信号処理部１３０で所定の信号処理を行った撮像画像において、特定の周波数帯の周波数成分を有した画像情報を抽出する機能を有する。本実施例で測距に使用する周波数帯は２種類あり、第１周波数帯は高周波領域の周波数領域であり、第２周波数帯は第１周波数帯よりも低周波な周波数領域である。具体的には、第１周波数帯は周期Ｔ＝２．００〜２．２０画素の高周波領域であり、第２周波数帯は周期Ｔ＝２．５０〜２．７０画素の中域の周波数領域である。このように、本実施例では第１周波数成分に対して、第２周波数成分を１．２５〜１．３５倍程度の周期（０．８０〜０．７４倍程度の周波数）に設定している。これらの周波数成分の抽出方法は、フーリエ変換を用
いてもよいし、バンドパスフィルタを用いてもよい。フーリエ変換を用いる場合は、撮影画像をフーリエ変換した後、測距に用いる周波数領域のみの周波数成分を抽出し、抽出した周波数成分を逆フーリエ変換して実空間画像に戻すことで、測距に用いる周波数領域のみの周波数成分を有した画像情報を抽出する。バンドパスフィルタを用いる場合は、測距に用いる周波数領域を抽出可能なバンドパスフィルタを作成し、実空間画像にそのバンドパスフィルタを畳込み演算することで測距に用いる周波数領域のみの周波数成分を有した画像情報を抽出する。

本実施例での周波数成分抽出部１３２は、フーリエ変換を用いて測距に用いる周波数領域のみの周波数成分を有した画像情報を取得する。具体的には、撮像装置１がフォーカスブラケット方式で撮影したぼけが異なる２枚の撮影画像（フォーカス画像、デフォーカス画像）から、それぞれ２つの周波数成分（第１周波数成分、第２周波数成分）を抽出する。まずはフォーカス画像をフーリエ変換して周波数空間画像に変換する。その中から第１周波数領域のみを抽出して、抽出した周波数成分を逆フーリエ変換することにより第１周波数成分フォーカス画像を生成する。さらに、周波数空間画像から第２周波数領域のみを抽出して、抽出した周波数成分を逆フーリエ変換することにより第２周波数成分フォーカス画像を生成する。これらをデフォーカス画像についても行い、第１周波数成分デフォーカス画像と第２周波数成分デフォーカス画像を生成する。

距離算出部１３３は、フォーカス画像およびデフォーカス画像それぞれの第１周波数成分および第２周波数成分から距離情報を算出する機能部である。距離情報算出部は、第１距離依存値算出部１３３１、第２距離依存値算出部１３３２、距離情報算出部１３３３を備える。

第１距離依存値算出部１３３１は、第１周波数成分フォーカス画像と第１周波数成分デフォーカス画像とのぼけの違いから被写体の第１距離依存値を算出する機能を有する。本実施例では前述のＤＦＤ方式を用いて被写体の第１距離依存値を算出している。第１距離依存値算出部１３３１が求める第１距離依存値は、上述した式（６）で表される距離依存値ＤＳである。

第２距離依存値算出部１３３２は、第２周波数成分フォーカス画像と第２周波数成分デフォーカス画像とのぼけの違いから被写体の第２距離依存値を算出する機能を有する。本実施例では前述のＤＦＤ方式を用いて被写体の第２距離依存値を算出している。第２距離依存値算出部１３３２が求める第２距離依存値は、上述した式（６）で表される距離依存値ＤＳである。

距離情報算出部１３３３は、第１距離依存値と第２距離依存値とから距離情報を算出する機能を有する。本実施例では、第１距離依存値と第２距離依存値とは、被写体が同じ位置（デフォーカス位置）にあった場合でも異なる値をとる。そのため、第１距離依存値と第２距離依存値とから距離情報を算出する際は、予め周波数毎に距離情報の変換係数を求めておき、距離依存値にその変換係数を掛けることにより各周波数において共通の距離情報を算出できるようにする。例えば、各周波数の距離依存値に各周波数の変換係数を掛けることにより、デフォーカス位置が算出できるようにすると良い。このようにして、距離情報算出部１３３３は、異なる周波数で得られた距離依存値を統一した指標の距離情報へと変換する。

図３には、フォーカスブラケット撮影時の画像の鮮鋭度と距離依存値の関係を示す。図３のグラフ中、縦軸は鮮鋭度または距離依存値を表し、横軸はフォーカスブラケットの中心からのデフォーカス位置を表す。実線はフォーカス画像の鮮鋭度を示しており、フォーカス画像の撮影時のフォーカス位置（グラフ中のデフォーカス位置：−６の位置）から離
れるにしたがって画像の鮮鋭度が低下する。また、破線はデフォーカス画像の鮮鋭度を示しており、デフォーカス画像の撮影時のフォーカス位置（グラフ中のデフォーカス位置：＋６の位置）から離れるにしたがって画像の鮮鋭度が低下する。ここで、フォーカスブラケット量はフォーカス画像とデフォーカス画像とのフォーカス位置の間隔であるから、フォーカスブラケット量は１２である。図では、フォーカス画像とデフォーカス画像のフォーカス位置の中点をデフォーカス位置０として表示している。図３のグラフ中、丸のマーカーが付いた実線はフォーカス画像とデフォーカス画像のぼけの違いから求められる距離依存値（前後判定反映前）を示している。ここでの距離依存値は、フォーカス画像とデフォーカス画像とから特定の周波数成分を抽出して相関値（式（１））を算出したものであり、デフォーカス０の位置で距離依存値が最大値を示す。図３の例では、周期Ｔ＝２．００〜２．２０画素の周波数成分における距離を示している。

図に示すように、距離依存値はデフォーカス０の位置で最大値（１．０００）を取る。そこから離れるに従って距離依存値は低下し、距離依存値が最小値（０．２４４）まで低下する。更に離れると、距離依存値は上昇に転じる。距離依存値が最小値をとるデフォーカス位置は、フォーカス画像かデフォーカス画像のどちらかの画像の鮮鋭度が最小値まで低下する位置とほぼ同じ位置であり、画像の鮮鋭度の落ち込みが測距範囲を決定する。このように、ぼけの異なる２つの画像から求めた距離依存値は、各画像の鮮鋭度と強い関連を示す。

図４には周波数別の距離依存値（前後判定反映前）を示す。図４のグラフの縦軸は距離依存値、横軸はフォーカスブラケットの中心からのデフォーカス位置を表す。図４を用いて第１周波数成分と第２周波数成分とにおける距離依存値との関係を説明する。

図４のグラフ中、実線は高周波成分の第１周波数成分から求めた第１距離依存値であり、破線は第１周波数成分よりも低周波成分の第２周波数成分から求めた第２距離依存値である。

第１距離依存値はデフォーカスの変化に対する距離依存値の変化が急峻であり、少ないデフォーカス位置（デフォーカス位置±１８）で距離依存値が最小値（スコア０．２４４）まで低下する。一方、第２距離依存値はデフォーカスの変化に対する距離依存値の変化が緩やかであり、大きなデフォーカス位置（デフォーカス位置±２５）で距離依存値が最小値（スコア０．４３３）まで低下する。このように、被写体が同じデフォーカス位置にあっても、測距に用いる周波数成分によって、算出される距離依存値が異なる。しかしながら、予め各周波数成分において距離依存値とデフォーカス位置とを対応付けた情報を取得しておけば、夫々の周波数成分における距離依存値からデフォーカス位置を算出することができる。これにより、いかなる周波数成分を用いた場合においても、全ての周波成分で同じ指標のデフォーカス位置に変換することができる。本実施例の撮像装置では、測距に用いる周波数成分において、予め各周波数成分において距離依存値とデフォーカス位置とを対応付けた情報を取得して保管している。

高周波成分による測距は、測距可能なデフォーカス範囲は狭いが、測距可能範囲内を精度良く測定できるメリットがある。ＤＦＤ方式などで行う被写体の距離計測では、通常の場合、測距対象の被写体の奥行をカバーするように撮影画像の絞り値やフォーカスブラケット量などを設定し、高周波成分を用いて測距するのが良い。しかし、被写体のテクスチャによっては、高周波成分で測距するよりも低周波成分で測距した方が、測距が安定する場合がある。例えば、周期的に配列された縦縞や横縞、市松模様、格子形状などのある特定の周波数成分しか含まないテクスチャが測距対象の場合に該当する。このように、被写体に測距に用いる周波数成分が含まれない場合、画像のぼけ具合を把握できる情報が含まれていないため、距離情報を正しく算出できないことが問題となる。これらのテクスチャ
にはあまり高い周波数は含まれないので、測距に高周波成分を用いた場合は特に問題となる。また、これらのテクスチャは洋服や建造物、家電製品のデザインによく見られるが、写真には一般的な被写体なので対策が必要性は非常に高い。

そこで、本発明では、複数種類の周波数成分を用いることにより、被写体のテクスチャによる計測精度の安定性を向上させている。本実施例の撮像装置では２種類の周波数成分を用いている。

図５に本実施例の撮像装置が実施する距離算出処理のフローチャートを示す。図５を用いて本実施例の撮像装置における距離情報算出ならびに距離マップ作成に関する動作を説明する。

入力画像（データＤ５０）は、撮像装置１がフォーカスブラケット方式で撮影したぼけが異なる２枚の撮影画像であるフォーカス画像とデフォーカス画像である。距離算出部１３３が、撮影されたフォーカス画像とデフォーカス画像を取得する。

第１周波数成分抽出工程（ステップＳ５０）では、周波数成分抽出部１３２が、フォーカス画像とデフォーカス画像の夫々から高周波成分である第１周波数成分を抽出する。第２周波数成分抽出工程（ステップＳ５１）では、周波数成分抽出部１３２が、フォーカス画像とデフォーカス画像の夫々から第１周波数成分よりも低い周波数成分である第２周波数成分を抽出する。本実施例ではフーリエ変換を用いてフォーカス画像及びデフォーカス画像から第１周波数成分と第２周波数成分を抽出する。

次に第１距離依存値算出工程（ステップＳ５２）では、第１距離依存値算出部１３３１が、フォーカス画像の第１周波数成分とデフォーカス画像の第１周波数成分とのぼけの違いから、ＤＦＤ方式によって第１距離依存値を取得する。

第２距離依存値算出工程（ステップＳ５３）では、第２距離依存値算出部１３３２が、フォーカス画像の第２周波数成分とデフォーカス画像の第２周波数成分とのぼけの違いから、ＤＦＤ方式によって第２距離依存値を取得する。

距離情報算出工程（ステップＳ５４）では、距離情報算出部１３３３が、第１距離依存値と第２距離依存値とに基づいて、被写体の距離情報を算出する。この際、距離情報算出部１３３３は、第１距離依存値と第２距離依存値を同じ指標の距離情報（例えば、フォーカスブラケットの中心からのデフォーカス位置）に変換する。第１距離依存値と第２距離依存値から距離情報を算出する際は、第１距離依存値と第２距離依存値とから求めたデフォーカス位置の平均値を距離情報とすると良い。

別の手法として、第１距離依存値と第２距離依存値とから求めたデフォーカス位置の重み付け平均値を距離情報としてもよい。重みとして、各周波数成分の距離依存値の信頼度を採用することが好ましい。距離依存値の信頼度とは、高信頼度であるほど、距離依存値から求められる距離と実際の被写体の距離との誤差が少ないと期待される値である。信頼度として、周波数成分の振幅量の総和を採用することができる。ただし、一般に高周波成分程振幅量が小さくなる傾向にあるので、信頼度として、周波数成分の振幅量の総和を、周波数あるいは周波数の対数で除した値を採用するとことができる。

さらに別の手法として、第１距離依存値と第２距離依存値から求められるデフォーカス位置のうち、いずれか一方を距離情報として採用するようにする。この際、どちらのデフォーカス位置を採用するかを画素毎（小領域毎）に変更してもよい。具体的には、画素毎（小領域毎）に上記の信頼度が高い方の周波数の距離依存値から求められるデフォーカス
位置を採用すればよい。

距離マップ作成工程（ステップＳ５５）では、距離算出部１３３は、各画素の距離情報を集めて距離マップを作成する。その他、距離情報の補正、穴埋めなどを用いて距離マップの整形を行う。

本実施例では周波数成分の数が２つの場合について説明したが、これに限ったものではなく、３つ４つ５つと周波数成分の数は多い程良く、測距精度をより安定化することができる。

（本実施例の利点）
このように、撮影した画像中に写る被写体の距離情報を算出する際に、複数の周波数成分から算出した距離依存値を用いるので、測距精度の安定性を向上させることができる。理想的には、いずれの周波数を用いても同じ距離情報が得られるが、被写体に含まれる周波数成分によっては各周波数成分から求められる距離情報が異なってしまう。このような場合に、複数の周波数成分から算出した距離依存値から求められる距離情報の平均値を採用することで、測距精度が安定する。

さらに、周波数成分の振幅量を基準にして信頼度を求め、信頼度に応じた重み付けや、画素毎に信頼度が高い周波数成分を選択することで、測距精度の安定性を更に向上させることができる。

本実施例ではＤＦＤ方式において被写体の距離情報を算出したが、これに限ったものではなく、例えば、Ｄｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ（ＤＦＦ）方式であってもよい。ＤＦＦ方式もＤＦＤ方式と同様にぼけの変化を利用して被写体の距離情報を算出する方式である。具体的には、撮像光学系のフォーカス位置を多数回変更して撮影した多数枚の画像を基に、各画素において最もピントがあった画像を探索し、その画像のフォーカス位置を基にして被写体の距離情報を算出するものである。

ＤＦＦ方式の場合も同様に、距離以外の要因でぼけの変化が生じた場合には距離情報の計測誤差となり問題となる。従って、本実施例を用いることにより、計測精度の良い距離情報を算出することができる。

また、本実施例ではフーリエ変換によって所定の周波数成分を抽出したが、これに限ったものではなく、例えばバンドパスフィルタを用いて撮影画像をフィルタリングしてもよい。この場合、周波数成分抽出部１３２では、上記２種類の周波数領域に対応した第１バンドパスフィルタ及び第２バンドパスフィルタを備えるように構成される。そして、周波数成分抽出部１３２は、撮影画像に対して夫々のバンドパスフィルタを畳込み演算することにより、第１周波数領域画像と第２周波数領域画像を取得する。

さらに、撮影画像から低周波成分を抽出する方法として、撮影画像を縮小してから周波数成分を抽出することも好ましい。そうすれば、抽出する周波数成分の周波数帯を変更しても同じバンドパスフィルタを何回も使用でき、フィルタを複数持つ必要がなくなる。

＜実施例２＞
本発明の実施例２について説明する。実施例２は、低周波数成分の距離情報を用いて高周波成分から算出した距離情報の測距範囲外の画素または小領域を検出する点と、測距範囲外と検出された画素または小領域の距離情報に測距範囲外を示すスコアを付与した点が実施例１と異なる。

一般的に、撮像装置により撮影した画像上の被写体はフォーカス位置から離れる従って画像上のぼけは大きくなる。２画像間のぼけの変化はフォーカス位置近傍のデフォーカス範囲が最も検出し易く、デフォーカス量が大きくなるにつれてぼけの変化を検出し難くなる。そのため、ＤＦＤ方式のような２枚の画像間におけるぼけの変化から被写体の距離情報を算出する方法では、距離情報を計測できるデフォーカス範囲（測距範囲）が限られている。

しかしながら、特許文献１，２のように測距範囲を考慮せずに距離算出を行うと、測距範囲を超えたデフォーカス位置に被写体があった場合に間違った距離情報が算出されてしまう。これでは、測距範囲内のデフォーカス位置における正しい距離情報なのか、測距範囲外のデフォーカス位置における間違った距離情報なのかを区別することができず、正確な距離情報が得られないことが問題となる。

そこで、本実施例では、被写体が距離情報の測距範囲外の位置にある領域（または画素）を検出し、測距範囲外の領域についてはその旨が判別できる情報を距離情報に付与する。これにより、算出された距離情報が信頼できるものとなる。

図６に本実施例における撮像装置の構成の概略図を示す。実施例１と同様の構成については、同一の符号を付している。以下、実施例１と異なる部分を中心に説明する。実施例２の撮像装置の画像処理装置（距離算出装置）１３は、信号処理部１３０、メモリ１３１、周波数成分抽出部１３２、距離算出部１３３を有している。距離算出部１３３は、第１距離依存値算出部１３３１、第２距離依存値算出部１３３２、距離情報算出部１３３３に加え、測距範囲外検出部１３３４を有している。

測距範囲外検出部１３３４は、高周波成分（第１周波数成分）を用いた測距が可能な範囲を超えたデフォーカス位置にある被写体が写る画像領域を検出する機能を有する。

図７には図４と同じ周波数別の距離情報を示す。図７を用いて第１周波数成分に測距可能な範囲を説明する。第１周波数成分を用いた測距が可能な範囲は、デフォーカス量がゼロの位置（フォーカス画像とデフォーカス画像のフォーカス位置の中点）を含み、第１距離依存値が最小値をとるデフォーカス位置までの範囲である。図７の例では、第１距離依存値が最小値（スコア０．２４４）を示す前側（マイナス側）のデフォーカス位置−１８から、同じくスコアが最小値を示す後側（プラス側）のデフォーカス位置＋１８までの範囲である。この範囲を第１距離依存値の測距範囲、これより外側のデフォーカス範囲を第１距離依存値の測距範囲外と呼び、図７中にその範囲をそれぞれ示した。測距範囲外ではデフォーカス量が多くなるに連れてスコアが徐々に大きくなり、ついにはスコア１となってしまう。測距範囲外のスコアは、測距範囲内に同じスコアのデフォーカス位置が存在するので、測距範囲外の距離依存値は誤った距離情報となっている。その為、測距範囲内と測距範囲外とを区別し、測距範囲内の距離依存値を採用し、測距範囲外の距離依存値は修正することが求められる。

そこで本実施例では、測距に用いる周波数成分の測距範囲内と測距範囲外を区別し、測距範囲外の距離依存値を修正することにより、正確な距離情報ならびに距離画像（距離マップ）を取得する。

図７には、測距に用いる第１周波数成分を用いてＤＦＤ方式により取得した第１距離情報と、第１周波数成分よりも低い周波数の第２周波数成分を用いてＤＦＤ方式により取得した第２距離情報を示している。本実施例においても周波数成分は実施例１と同様であり、第１周波数成分は周期Ｔ＝２．００〜２．２０画素の高周波領域であり、第２周波数領域は周期Ｔ＝２．５０〜２．７０画素の中域の周波数成分である。

第２距離依存値も同様にデフォーカス位置０から離れるに従って距離情報のスコアは１から低下するが、スコアの低下の度合は第１距離依存値と比べて緩やかである。第２距離依存値のスコアが最小値０．４３３となるデフォーカス位置±２５も第１距離依存値より遠くにある。

そのため、第１距離依存値の測距範囲の後端（デフォーカス位置＋１８）において、第２距離依存値は０．７５９と最小値より大きい値である。したがって、第２距離依存値が０．７５９以下であれば、被写体がデフォーカス位置＋１８より遠くに位置した場合でも、その位置がデフォーカス位置＋１８よりも遠いということを把握することができる。このように、第２距離依存値が所定の閾値（ここでは０．７５９）より小さい領域（あるいは画素）では、そのデフォーカス位置は第１距離依存値の測距範囲の外側にあること、すなわち測距範囲外であることが分かる。なお、この閾値は第１周波数成分および第２周波数成分と光学系とからあらかじめ算出することができる。なお、デフォーカス量が大きくなると、第２距離依存値も大きくなり閾値（０．７５９）を超えてしまう。図７から分かるように、第１周波数成分を用いて測距可能な領域は、第２距離依存値が所定の閾値以上（または、第２距離依存値が所定の閾値以上１．０以下の範囲内）、かつ、第１距離依存値が第２距離依存値よりも小さい、という基準で判断することができる。換言すると、第１周波数成分を用いた測距が不可能な領域は、第２距離依存値が所定の閾値よりも小さい（または、第２距離依存値が所定の閾値以上１．０以下の範囲外）、または、第２距離依存値が第１距離依存値よりも小さい、という条件を満たす領域である。

更には、フォーカス画像とデフォーカス画像のどちらにおいて、第２周波数成分の振幅の平均値との差分の二乗和が大きいかに基づいて、前側の測距範囲外なのか、後ろ側の測距範囲外なのかを区別することができる。フォーカスのずれ量が大きくなるにしたがって、上記二乗和は小さくなるためである。本実施例ではデフォーカス画像はフォーカス位置を後ろ側にずらしている（図３）ので、フォーカス画像の二乗和が大きければ前側であり、デフォーカス画像の二乗和が大きければ後ろ側と判断することができる。

図７の例では、前後判定反映前の距離依存値を用いて説明したが、測距範囲の判定は前後判定反映後の距離依存値（式（４））を用いても同様に判定できる。この場合、フォーカス画像とデフォーカス画像のフォーカス位置の中点よりも前側では、距離依存値はスコア１を中心に折り返したグラフとなる。したがって、第１周波数成分による測距が可能な範囲は、第２距離依存値が０．７５９以上１．２４１以内の範囲の値をとる領域となる。さらに、第１距離依存値と第２距離依存値の大小関係を考慮する場合は、前側のフォーカス位置（距離依存値が１以上となる領域）では、第１距離依存値が第２距離依存値よりも大きい領域が、測距可能範囲である。後側のフォーカス位置（距離依存値が１以下となる領域）では、第１距離依存値が第２距離依存値よりも小さい領域が、測距可能範囲である。前後判定反映後の距離依存値を用いて測距範囲を検出する場合は、距離依存値が１より大きいか小さいかに応じて、測距範囲外が前側か後側か判断することができる。

図８に本実施例の撮像装置が実施する距離算出処理のフローチャートを示す。図８を用いて本実施例の撮像装置における第１距離依存値の測距範囲外領域の判定方法と、正確な距離依存値を用いた距離マップ作成に関わる動作について説明する。

入力画像（データＤ８０）は、撮像装置１がフォーカスブラケット方式で撮影したぼけが異なる２枚の撮影画像であるフォーカス画像とデフォーカス画像である。距離算出部１３３が、撮影されたフォーカス画像とデフォーカス画像を取得する。

第１周波数成分抽出工程（ステップＳ８０）では、周波数成分抽出部１３２が、フォー
カス画像とデフォーカス画像の夫々から高周波成分である第１周波数成分を抽出する。第２周波数成分抽出工程（ステップＳ８１）では、周波数成分抽出部１３２が、フォーカス画像とデフォーカス画像の夫々から第１周波数成分よりも低い周波数成分である第２周波数成分を抽出する。本実施例ではフーリエ変換を用いてフォーカス画像及びデフォーカス画像から第１周波数成分と第２周波数成分を抽出する。

次に第１距離依存値算出工程（ステップＳ８２）では、第１距離依存値算出部１３３１が、フォーカス画像の第１周波数成分とデフォーカス画像の第１周波数成分とのぼけの違いから、ＤＦＤ方式によって第１距離依存値を取得する。

第２距離依存値算出工程（ステップＳ８３）では、フォーカス画像の第２周波数成分とデフォーカス画像の第２周波数成分とのぼけの違いから、ＤＦＤ方式によって第２距離依存値を取得する。

測距範囲外検出工程（ステップＳ８４）では、測距範囲外検出部１３３４が、第１距離依存値と第２距離依存値を基にして第１周波数成分を用いた測距が不可能な領域（第１距離依存値の測距範囲外の領域）を検出する。具体的には、まず第１距離依存値の測距範囲の前端と後端の間のデフォーカス位置において第２距離依存値がとりうる値の範囲を予め把握しておき、測距範囲内外を判定するための情報としてこの値の範囲を格納する。第２距離依存値算出部１３３２が求める第２距離依存値が上記範囲外である場合には、その画素又は小領域は第１距離依存値の測距範囲外と判定する。

距離情報算出工程（ステップＳ８５）では、距離情報算出部１３３３が、測距範囲外検出工程（ステップ８４）において、第１距離依存値の測距範囲外と判定された画素又は小領域における第１距離依存値を、測距範囲外を意味するスコアに置き換える。また、距離情報算出部１３３３は、測距範囲内と判定された画素又は小領域においては、第１距離依存値をそのまま使用した距離情報を算出する。なお、距離情報として距離依存値そのものを採用しているが、距離依存値から求められるデフォーカス量や、デフォーカス量から更に求められる被写体の距離などを採用してもよい。

本実施例の撮像装置では、前後判定反映後の第１距離依存値は「１．０００〜０．２４４」の値で算出されるが、前述の前後判定により、フォーカスブラケットの中心より前側は「１．０００〜１．７５６」のスコアが割り当てられる。図９には、図７の第１距離依存値、第２距離依存値における前後判定反映距離情報を示す。これは、式（４）に従って前後判定結果を反映させた距離依存値の例である。第１距離依存値、第２距離依存値の前側のデフォーカス位置におけるスコアをスコア「１．０００」を中心に折り返したグラフになる。

第１距離依存値は「０．２４４〜１．７５６」の値を有し、それが測距範囲内にある場合は信頼できるスコアとなる。第２距離依存値は「０．４３３〜１．５６７」の値を有する。測距範囲の前端（第１距離依存値１．７５６）のデフォーカス位置−１８における第２距離依存値は１．２４１である。測距範囲の後端（第１距離依存値０．２４４）のデフォーカス位置＋１８における第２距離依存値は０．７５９である。

よって、前後判定反映距離情報においては、第２距離依存値が「１．２４１」より大きい時は第１距離依存値の前側の測距範囲外と判定でき、「０．７５９」より小さいときは第１距離依存値の後側の測距範囲外と判定できる。さらに、第１距離依存値が「１．０００」以上であり第２距離依存値よりも小さいときは、第１距離依存値の前側の測距範囲外と判定できる。同様に、第１距離依存値が「１．０００」以下であり第２距離依存値よりも大きいときは、第１距離依存値の後側の測距範囲外と判定できる。このようにして、前
側の測距範囲外と後側の測距範囲外とを区別して検出することができる。

ここで測距範囲外を意味するスコアとは、例えば、前側の測距範囲外に「２」を、後側の測距範囲外には「０」を入力することである。これは、前側の測距範囲外には、前側であることを示す「１」よりも大きい値で、且つＤＦＤで算出するスコアでは到達しない値を採用している。一方、後側の測距範囲外には、後側であることを示す「１」よりも小さい値で、且つＤＦＤで算出するスコアでは到達しない値を採用している。これにより、距離情報に前側測距範囲外と後側測距範囲外という情報を付与することができる。これらはＤＦＤで算出する距離情報のスコアに対して２層分を追加したことになり、距離情報の精度を示す距離の層数を増やすことができる。距離情報としてデフォーカス量を採用する場合には、例えば、前側の測距範囲外を示す値として「−９９」、後側の測距範囲外を示す値として「９９」などを採用すればよい。

図１０（Ａ）は、本実施例の撮像装置で撮影した撮影画像、図１０（Ｂ）は本実施例の撮像装置で作成した距離画像を示す。図１０（Ａ）に示すように、撮影画像中には、被写体１００〜１０３の４つの被写体が撮影されている。被写体１００は人であり本撮影画像の主被写体である。撮像装置は主被写体１００にピントを合わせて１枚目の画像を撮影し、次にピントを奥へ移動させて２枚目の画像を撮影している。被写体１０１は木であり、主被写体１００の後方にある近景の被写体の１つである。被写体１０２は家であり、木１０１よりも後方にある中離背景の被写体の１つである。被写体１０３は木であり、家１０２よりも更に後方にある遠景の被写体の１つである。

本実施例における撮影装置により、距離情報を取得し、各画素の距離情報を集めて画像化したのが図１０（Ｂ）に示した距離画像である。距離画像は、算出した距離情報を基にして５層の階層構造を有する距離マップで表現している。１枚目の画像のフォーカス位置（ピント位置）近傍が第１階層１０４であり、主被写体１００を含んでいる。第２階層１０５は、主被写体１００よりも少し後方のデフォーカス範囲であり、ここには地面が写っている。第３階層１０６は第２階層１０５よりも更に後方のデフォーカス範囲であり、木１０１と地面が写っている。第４階層１０７は第３階層１０６よりも更に後方のデフォーカス範囲であり、家１０２と地面が写っている。本実施例では第１階層１０４から第４階層１０７までが測距範囲内である。そして第５階層１０８は第４階層１０７以降のデフォーカス範囲であり、遠方にある木１０３や地面、空などが含まれる。第５階層１０７は本実施例の撮像装置により検出した後側測距範囲外であり、これ以上遠方の距離を識別することができない。

本実施例の効果を用いなければ、第５階層１０８における距離情報は、第１階層から第４階層のいずれかのデフォーカス位置と区別することができず、正しくない距離画像となってしまう。これを基に例えば背景ぼかしなどの画像処理を実施すると、遠方にあるはずの木１０３などの被写体がぼけずに違和感がある画像となってしまい問題となる。

本実施例では測距範囲外を検出して、測距範囲外に該当する距離情報を付与した距離情報を算出したため、正しい距離情報が得られている。それを基に距離画像を作成しているので、例えば背景ぼかしなどの画像処理を実施した場合においても、距離に応じたぼけサイズを付与することができ、自然なぼけ味を表現した画像を作成することができる。

（本実施例の利点）
このように、本実施例の撮像装置では、測距に用いる周波数成分よりも低い周波数成分から算出した距離依存値を用いて、測距に用いる周波数成分の測距範囲内と測距範囲外を識別可能としている。特には、測距範囲外を識別して測距範囲外の距離情報として測距範囲外を意味する情報に置き換えている。これにより、測距範囲外のデフォーカス位置に被
写体が存在した場合においても、正確な距離情報を取得することが可能となる。また、正確な距離情報を用いて距離マップを作成することができる。

ここで得られた距離マップを、例えば「背景ぼかし機能」へ応用する場合、被写体の距離に応じてぼけの大きさを変更しながら背景を大きくぼかした画像を作成すると、奇麗なぼけ味を有した画像を提供することができる。その際、ＤＦＤ方式の測距範囲外のデフォーカス位置に背景の被写体が存在する場合があるが、本発明の効果を用いればＤＦＤ方式の測距範囲外を検出可能なので、測距範囲外にある背景には一番大きなぼけサイズを付与することができる。これにより、非常に美しいぼけ味を付与した画像を提供することができる。

また、本実施例では測距用の周波数成分を１種類と、測距範囲検出用の周波数成分を１種類のみ使用したが、これに限ったものではなく、例えば、測距範囲検出用の周波数成分を複数用いてもよい。その場合も、より低周波成分による距離情報を用いて、より高周波成分の距離情報における測距範囲外を検出することができる。例えば、第２周波数成分よりも低い周波数の第３周波数成分を用いて第３距離依存値を算出すれば、第２周波数成分と閾値の比較のみでは検出できない、デフォーカス位置±３３よりも外側の第１距離情報における測距範囲外を検出することができる。第１距離依存値と第２距離依存値の大小関係を考慮することで測距範囲外を適切に判断できるが、両方のスコアが小さくなるとノイズの影響により大小関係が逆転することもあるため、第３周波数成分を用いることも好適である。この様に、測距範囲検出用の周波数成分を複数用いれば、測距範囲外をより遠くまで検出することが可能となる。

また、周波数が高いほど距離分解能力が高いので、測距範囲検出用の周波数成分として、高い周波数から順々に用いることにより、測距範囲外の検出精度を高く維持しつつ、測距範囲外を判定可能なデフォーカス範囲を拡大することができる。

＜実施例３＞
本発明の実施例３について説明する。実施例２では、測距範囲外の小領域または画素について、測距範囲外を表す距離情報を付与するだけであった。実施例３は、測距範囲外であると検出された画素または小領域の距離情報を、より低周波成分から算出した距離情報で置き換えて測距範囲を拡大した点が実施例２と異なる。以下、実施例２と異なる部分を中心に説明する。

図１１に本実施例のおける撮像装置の構成の概略図を示す。

実施例３の撮像装置の画像処理装置（距離算出装置）１３は、信号処理部１３０、メモリ１３１、周波数成分抽出部１３２、距離算出部１３３を有している。距離算出部１３３は、第１距離依存値算出部１３３１、第２距離依存値算出部１３３２、距離情報算出部１３３３、測距範囲外検出部１３３４に加え、第３距離依存値算出部１３３５、第４距離依存値算出部１３３６、第５距離依存値算出部１３３７を有している。

本実施例の撮像装置における第１〜第５距離依存値算出部１３３１、１３３２、１３３５、１３３６、１３３７は、それぞれ異なる周波数成分から距離依存値を算出する機能を有する。

距離情報算出部１３３３は、第１〜第５距離依存値算出部１３３１、１３３２、１３３５、１３３６、１３３７により算出された距離依存値を統合して、新たな距離情報を算出する機能を有する。

図１２には、第１〜第５の周波数成分による距離依存値を示す。図１２の距離依存値は前後判定が反映されており、フォーカスブラケットの中間点のスコアを１とし、それより前側を１より大きく、それより後側を１より小さい値として、スコア０〜２の範囲で表現している。

本実施例の撮像装置では、第１距離依存値算出部１３３１により、周期Ｔ＝２．００〜２．２０画素の第１周波数成分を用いて第１距離依存値を算出する。第２距離依存値算出部１３３２により、周期Ｔ＝２．５０〜２．７０画素の第２周波数成分を用いて第２距離依存値を算出する。第３距離依存値算出部１３３５により、周期Ｔ＝３．００〜３．３０画素の第３周波数成分を用いて第３距離依存値を算出する。第４距離依存値算出部１３３６により、周期Ｔ＝３．６１〜４．００画素の第４周波数成分を用いて第４距離依存値を算出する。第５距離依存値算出部１３３７により、周期Ｔ＝４．５１〜５．００画素の第５周波数成分を用いて第５距離依存値を算出する。本実施例の撮像装置では、第１周波数成分から第５周波数成分に掛けて徐々に周期が長く、周波数が低くなるように設定している。

各距離依存値の測距範囲の終端のデフォーカス位置は夫々、第１距離依存値が±１８、第２距離依存値が±２５、第３距離依存値が±３７、第４距離依存値が±４８、第５距離依存値が±６６である。

ここでｉ（ｉは１以上４以下の整数）番目に高い周波数成分に基づく測距範囲は、ｉ＋１番目に高い周波数成分に対応する距離依存値に基づいて判断することができる。前側にデフォーカスしている場合（すなわち、距離依存値が１より大きい場合）は、ｉ＋１番目の距離依存値が所定の閾値よりも小さい領域が測距範囲内であり、閾値以上の領域は測距範囲外である。逆に、後側にデフォーカスしている場合（すなわち、距離依存値が１より小さい場合）は、ｉ＋１番目の距離依存値が所定の閾値よりも大きい領域が測距範囲内であり、閾値以下の領域は測距範囲外である。これら２つの場合を統合して、ｉ＋１番目の距離依存値が所定の範囲内の値をとる領域をｉ番目の距離依存値の測距範囲内、それ以外の領域を測距範囲外と判断することができる。

具体的には、測距範囲外検出部１３３４は、以下の条件により各距離依存値の測距範囲外を検出する。第１距離依存値の測距範囲外を第２距離依存値のスコアが「０．７５９以下もしくは１．２４１以上」との条件で検出する。第２距離依存値の測距範囲外を第３距離依存値のスコアが「０．９１１以下もしくは１．０９０以上」との条件で検出する。第３距離依存値の測距範囲外を第４距離依存値のスコアが「０．８８１以下もしくは１．１１９以上」との条件で検出する。第４距離依存値の測距範囲外を第５距離依存値のスコアが「０．９５８以下もしくは１．０４２以上」との条件で検出する。

測距範囲外を検出する際に、ｉ番目の距離依存値と、ｉ＋１番目の距離依存値の大小関係を考慮することも好ましい。具体的には、前側にデフォーカスしている場合（距離依存値が１より大きい場合）は、ｉ＋１番目の距離依存値がｉ番目の距離依存値より大きい領域はｉ番目の距離依存値の測距範囲外である。また、後側にデフォーカスしている場合（距離依存値が１より小さい場合）は、ｉ＋１番目の距離依存値がｉ番目の距離依存値より小さい領域は、ｉ番目の距離依存値の測距範囲外である。

このように、各距離依存値の測距範囲外を検出することで、測距範囲内の距離依存値が有効なスコアであり、測距範囲外の距離依存値が無効なスコアであることを把握できる。

距離情報算出部１３３３は、各領域において、測距可能な周波数成分のうち、最も高い周波数成分に基づく距離依存値から、距離情報を算出する。なお、距離情報は、距離依存
値から求められる像面側のデフォーカス量であってもよいし、物体側の距離であってもよい。また、距離情報は、距離依存値そのものと当該距離依存値を算出する際に用いた周波数帯との情報であってもよい。

図１３には各距離情報における測距範囲内の距離情報を示す。図１３を用いて本実施例の撮像装置における複数の距離情報を用いた距離情報算出方法を説明する。

最も高い周波数領域から算出した第１距離依存値は、デフォーカス量が少ない範囲の距離算出を担当し、デフォーカス位置０から第１距離依存値の測距範囲の終端（デフォーカス位置±１８）までを担う。更にデフォーカスした位置における距離情報算出は第２距離依存値が担当し、デフォーカス位置±１８から第２距離依存値の測距範囲の終端（デフォーカス位置±２５）までを担う。更にデフォーカスした位置における距離情報算出は第３距離依存値が担当し、デフォーカス位置±２５から第３距離依存値の測距範囲の終端（デフォーカス位置±３７）までを担う。更にデフォーカスした位置における距離情報算出は第４距離依存値が担当し、デフォーカス位置±３７から第４距離依存値の測距範囲の終端（デフォーカス位置±４８）までを担う。そして、最も低い周波数成分で算出した第５距離依存値は、第４距離依存値の測距範囲外の検出に用いるのみで、デフォーカス位置±４８より外側のデフォーカス位置のスコアに測距範囲外を示す距離情報を入力する。そして、これらの有効な距離依存値から、最終的に距離情報を算出する。このとき、各距離依存値のスコアは単純には比較できないため、共通の指標であるデフォーカス位置に変換することが好ましい。デフォーカス位置への変換は波数毎に変換式の係数が異なるため予め把握しておくことにより行える。

このように、複数の距離依存値を繋ぎ合せることにより算出した距離情報は、各デフォーカス位置における距離分解能を高度に維持したまま、測距範囲を拡大させている。第１距離依存値における測距範囲がデフォーカス量１３であったのに対して、距離情報における測距範囲はデフォーカス量４８まで拡大することができている。その拡大率は３．７倍である。

なお、ｉ番目に高い周波数成分で測距が可能な領域は、それよりも高い周波数成分でも測距が可能である。しかしながら、周波数が高いほど分解能良く距離を算出できるので、ここでは、測距可能な周波数成分のうち最も高い周波数成分に対応する距離依存値から、距離情報を求めるようにしている。ただし、実施例１と同様に、測距可能な複数の周波数成分に対応する距離依存値のそれぞれに基づいて（例えば、各距離依存値から求まる距離情報の平均を取ることにより）、距離情報を算出してもよい。

図１４に本実施例の撮像装置が実施する距離算出処理のフローチャートを示す。図１４を用いて本実施例の撮像装置における複数の距離依存値を用いた距離情報算出方法を説明する。

入力画像（データＤ１３０）は、撮像装置１がフォーカスブラケット方式で撮影したぼけが異なる２枚の撮影画像であるフォーカス画像とデフォーカス画像である。距離算出部１３３が、撮影されたフォーカス画像とデフォーカス画像を取得する。

第１周波数成分抽出工程（ステップＳ１３００）では、周波数成分抽出部１３２が、フォーカス画像とデフォーカス画像の夫々から高周波成分である第１周波数成分を抽出する。第２周波数成分抽出工程（ステップＳ１３０１）では、フォーカス画像とデフォーカス画像の夫々から第１周波数成分よりも低い周波数の第２周波数成分を抽出する。第３周波数成分抽出工程（ステップＳ１３０２）では、フォーカス画像とデフォーカス画像の夫々から第２周波数成分よりも低い周波数の第３周波数成分を抽出する。第４周波数成分抽出
工程（ステップＳ１３０３）では、フォーカス画像とデフォーカス画像の夫々から第３周波数成分よりも低い周波数の第４周波数成分を抽出する。第５周波数成分抽出工程（ステップＳ１３０４）では、フォーカス画像とデフォーカス画像の夫々から第４周波数成分よりも低い周波数の第５周波数成分を抽出する。

次に第１距離依存値算出工程（ステップＳ１３０５）では、第１距離依存値算出部１３３１が、フォーカス画像の第１周波数成分とデフォーカス画像の第１周波数成分とのぼけの違いから、ＤＦＤ方式によって第１距離依存値を取得する。第２距離依存値算出工程（ステップＳ１３０６）では、第２距離依存値算出部１３３２が、フォーカス画像の第２周波数成分とデフォーカス画像の第２周波数成分とのぼけの違いから、ＤＦＤ方式によって第２距離依存値を取得する。第３距離依存値算出工程（ステップＳ１３０７）では、第３距離依存値算出部１３３５が、フォーカス画像の第３周波数成分とデフォーカス画像の第３周波数成分とのぼけの違いから、ＤＦＤ方式によって第３距離依存値を取得する。第４距離依存値算出工程（ステップＳ１３０８）では、第４距離依存値算出部１３３６が、フォーカス画像の第４周波数成分とデフォーカス画像の第４周波数成分とのぼけの違いから、ＤＦＤ方式によって第４距離依存値を取得する。第５距離依存値算出工程（ステップＳ１３０９）では、第５距離依存値算出部１３３７が、フォーカス画像の第５周波数成分とデフォーカス画像の第５周波数成分とのぼけの違いから、ＤＦＤ方式によって第５距離依存値を取得する。

第１測距範囲外検出工程（ステップＳ１３１０）では、測距範囲外検出部１３３４が、第２距離依存値を基にして第１距離依存値の測距範囲外を検出する。第２測距範囲外検出工程（ステップＳ１３１１）では、測距範囲外検出部１３３４が、第３距離依存値を基にして第２距離依存値の測距範囲外を検出する。第３測距範囲外検出工程（ステップＳ１３１２）では、測距範囲外検出部１３３４が、第３距離依存値を基にして第４距離依存値の測距範囲外を検出する。第４測距範囲外検出工程（ステップＳ１３１３）では、測距範囲外検出部１３３４が、第５距離依存値を基にして第４距離依存値の測距範囲外を検出する。

なお、ｉ番目に高い周波数成分での測距範囲は、ｉ＋１番目に高い周波数成分ではなくそれより低い周波数成分の距離依存値を用いても検出可能である。したがって、ｉ番目に高い周波数成分の測距範囲を、ｉ＋２番目以降に高い周波数の距離依存値に基づいて検出してもよい。しかしながら、上記のように、測距範囲外を検出する際、一段低い周波数成分（測距用の周波数成分よりも低い周波数の中で最も近い周波数成分）を用いると、この周波数成分は測距用の周波数成分と距離分解能が近いので、精度良く測距範囲外を検出できるメリットがある。

そして、距離情報算出工程（ステップＳ１３１４）では、距離情報算出部１３３３が、各距離依存値を例えばデフォーカス位置のような共通の指標で表される距離情報に変換し、各距離依存値の測距範囲内の距離情報を繋ぎ合せて最終的な距離情報を算出する。

距離マップ作成工程（ステップＳ１３１５）では、各画素または小領域の距離情報を集めて距離マップを作成する。その外、距離情報の補正、穴埋めなどを用いて距離マップの整形を行う。

（本実施例の利点）
このように、本実施例の撮像装置では、複数の種類の周波数成分を用いて距離依存値を算出し、各距離依存値から最終的な距離情報を算出するようにしたので、測距の距離分解能を高度に維持したまま、測距範囲を拡大することができるメリットがある。また、元となる画像は、ぼけを異ならせて撮影した２枚の画像だけであり、従来のＤＦＤ方式と変わ
らない。すなわち、測距範囲を拡大するに当たり、新たな画像を撮影する必要がなく撮影に時間が掛からない点も大きなメリットである。

本実施例では５種の異なる周波数成分を用いて距離情報を算出したが、これに限ったものではなく、任意の数の周波数成分の距離依存値から距離情報を求めてもよい。たとえば、ｎ個（ｎは２以上の整数）の周波数成分の距離依存値を用いる場合は、ｉ（ｉは１以上ｎ−１以下の整数）番目に高い周波数成分に基づく測距が可能であるか否かは、ｉ＋１番目に高い周波数成分に対応する距離依存値に基づいて決定できる。ｉ番目に高い周波数成分での測距範囲は、必要に応じて、ｉ＋１番目の距離依存値に加えてｉ番目の距離依存値に基づいて決定してもよい。そして、最終的な距離情報は、測距可能な周波数成分のうち最も高い周波数成分の距離依存値から求めればよい。ここで、採用する周波数成分の数（上記ｎの値）は、大きくするほど測距範囲を拡大することができる。

（その他の実施例）
上記の実施例では、２枚の画像を撮影して距離マップを算出する撮像装置を例に説明したが、本発明では必ずしも２枚の画像を撮影により取得しなくても良い。例えば、本発明の一実施例は、異なる撮影パラメータを用いて撮影されたぼけが異なる２枚の撮影画像を、記憶媒体やネットワーク経由で取得し、取得された撮影画像から距離マップを算出する距離算出装置である。この距離算出装置は、実施例１に係る撮像装置から撮像系や画像形成回路を除き、データ読み取り装置やネットワークインタフェースを加えたものとして構成することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各処理を実現してもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１３：画像処理装置
１３２：周波数成分抽出部
１３３：距離算出部

Claims (23)

1. 異なる撮影パラメータを用いて撮影されたぼけが異なる第１画像と第２画像から被写体の距離情報を算出する距離算出装置であって、
   前記第１画像および前記第２画像のそれぞれから、第１周波数帯の成分である第１周波数成分と、前記第１周波数帯よりも低い第２周波数帯の成分である第２周波数成分とを抽出する抽出手段と、
   前記抽出手段が抽出した周波数成分から前記距離情報を算出する距離算出手段と、
   を備え、
   前記距離算出手段は、
   前記第１画像の前記第１周波数成分と前記第２画像の前記第１周波数成分とのぼけの違いから第１距離依存値を算出する第１距離依存値算出手段と、
   前記第１画像の前記第２周波数成分と前記第２画像の前記第２周波数成分とのぼけの違いから第２距離依存値を算出する第２距離依存値算出手段と、
   前記第１距離依存値と前記第２距離依存値に基づいて、前記距離情報を算出する距離情報算出手段と、
   を含む、距離算出装置。
2. 前記距離算出手段は、前記第１画像に含まれる各領域が、前記第１周波数成分に基づいて測距可能であるか否かを、前記第２距離依存値が所定の範囲内の値であるか否かに応じて判断する判断手段を、更に含み、
   前記距離情報算出手段は、前記第１周波数成分に基づく測距が不可能であると判断された領域の距離情報を、測距範囲外を示す値とする、
   請求項１に記載の距離算出装置。
3. 前記距離算出手段は、前記第１画像に含まれる各領域が、前記第１周波数成分に基づいて測距可能であるか否かを、前記第２距離依存値が所定の範囲内の値であるか否かに応じて判断する判断手段を、更に含み、
   前記距離情報算出手段は、前記第１周波数成分に基づく測距が可能であると判断された領域では前記第１距離依存値または前記第１距離依存値および前記第２距離依存値から前記距離情報を算出し、前記第１周波数成分に基づく測距が不可能であると判断された領域では前記第２距離依存値から前記距離情報を算出する、
   請求項１に記載の距離算出装置。
4. 前記判断手段は、前記第１距離依存値および前記第２距離依存値の大小関係も考慮して、前記第１周波数成分に基づく測距可能な領域であるか否かを判断する、
   請求項２または３に記載の距離算出装置。
5. 前記距離情報算出手段は、前記第１距離依存値から求められる距離情報と前記第２距離依存値から求められる距離情報との平均値を、最終的な距離情報として算出する、
   請求項１から４のいずれか１項に記載の距離算出装置。
6. 前記距離情報算出手段は、前記第１距離依存値から求められる距離情報と前記第２距離依存値から求められる距離情報とを、前記第１距離依存値および前記第２距離依存値の信頼度に応じた重みにより重み付けした平均値から前記距離情報を算出し、
   前記第１距離依存値の信頼度は、前記第１周波数成分の振幅量の総和と第１周波数帯とに基づいて決定され、
   前記第２距離依存値の信頼度は、前記第２周波数成分の振幅量の総和と第２周波数帯とに基づいて決定される、
   請求項１から４のいずれか１項に記載の距離算出装置。
7. 前記第１距離依存値算出手段は、前記第１画像から抽出した第１周波数成分および第２画像から抽出した第１周波数成分の大小関係を考慮して、前記第１距離依存値を算出し、
   前記第２距離依存値算出手段は、前記第１画像から抽出した第２周波数成分および第２画像から抽出した第２周波数成分の大小関係を考慮して、前記第２距離依存値を算出する、
   請求項１から６のいずれか１項に記載の距離算出装置。
8. 異なる撮影パラメータを用いて撮影されたぼけが異なる第１画像と第２画像から被写体の距離情報を算出する距離算出装置であって、
   前記第１画像および前記第２画像のそれぞれから、ｎ（ｎは２以上の整数）個の周波数帯の周波数成分を抽出する抽出手段と、
   前記抽出手段が抽出した周波数成分から前記距離情報を算出する距離算出手段と、
   を備え、
   前記距離算出手段は、
   前記ｎ個の周波数成分のそれぞれについて、前記第１画像および前記第２画像から抽出された周波数成分に基づいて距離依存値を算出する距離依存値算出手段と、
   前記第１画像に含まれる各領域が、ｉ（iは１以上ｎ−１以下の整数）番目に高い周波
   数成分に基づいて測距可能であるか否かを、ｉ＋１番目に高い周波数成分に対応する距離依存値から判断する判断手段と、
   前記距離情報算出手段は、前記第１画像に含まれる各領域について、当該領域の測距が可能な周波数成分のうち最も高い周波数成分に対応する距離依存値に基づいて、前記距離情報を算出する距離情報算出手段と、
   を含む、距離算出装置。
9. 前記判断手段は、ｉ＋１番目に高い周波数成分に対応する距離依存値が所定の範囲内の値であるか否かに応じて、ｉ番目に高い周波数成分に基づいて測距可能であるか否かを判断する、
   請求項８に記載の距離算出装置。
10. 前記判断手段は、ｉ番目に高い周波数成分に対応する距離依存値とｉ＋１番目に高い周波数成分に対応する距離依存値の大小関係も考慮して、ｉ番目に高い周波数成分に基づいて測距可能であるか否かを判断する、
    請求項９に記載の距離算出装置。
11. 前記距離情報算出手段は、前記判断手段によってｎ−１番目に高い周波数成分に基づく測距が不可能と判断された領域の距離情報を、測距範囲外を示す値とする、
    請求項８から１０のいずれか１項に記載の距離算出装置。
12. 撮像手段と、
    請求項１から１１のいずれか１項に記載の距離算出装置と、
    を備え、
    前記距離算出装置は、前記撮像手段によって異なる撮影パラメータを用いて撮影されたぼけが異なる複数の画像から被写体の距離情報を算出する、
    撮像装置。
13. 異なる撮影パラメータを用いて撮影されたぼけが異なる第１画像と第２画像から被写体の距離情報を算出する距離算出方法であって、
    前記第１画像および前記第２画像のそれぞれから、第１周波数帯の成分である第１周波数成分と、前記第１周波数帯よりも低い第２周波数帯の成分である第２周波数成分とを抽
    出する抽出ステップと、
    前記抽出ステップにおいて抽出された周波数成分から前記距離情報を算出する距離算出ステップと、
    を含み、
    前記距離算出ステップは、
    前記第１画像の前記第１周波数成分と前記第２画像の前記第１周波数成分とのぼけの違いから第１距離依存値を算出する第１距離依存値算出ステップと、
    前記第１画像の前記第２周波数成分と前記第２画像の前記第２周波数成分とのぼけの違いから第２距離依存値を算出する第２距離依存値算出ステップと、
    前記第１距離依存値と前記第２距離依存値に基づいて、前記距離情報を算出する距離情報算出ステップと、
    を含む、距離算出方法。
14. 前記距離算出ステップは、前記第１画像に含まれる各領域が、前記第１周波数成分に基づいて測距可能であるか否かを、前記第２距離依存値が所定の範囲内の値であるか否かに応じて判断する判断ステップを、更に含み、
    前記距離情報算出ステップでは、前記第１周波数成分に基づく測距が不可能であると判断された領域の距離情報を、測距範囲外を示す値とする、
    請求項１３に記載の距離算出方法。
15. 前記距離算出ステップは、前記第１画像に含まれる各領域が、前記第１周波数成分に基づいて測距可能であるか否かを、前記第２距離依存値が所定の範囲内の値であるか否かに応じて判断する判断ステップを、更に含み、
    前記距離情報算出ステップでは、前記第１周波数成分に基づく測距が可能であると判断された領域では前記第１距離依存値または前記第１距離依存値および前記第２距離依存値から前記距離情報を算出し、前記第１周波数成分に基づく測距が不可能であると判断された領域では前記第２距離依存値から前記距離情報を算出する、
    請求項１３に記載の距離算出方法。
16. 前記判断ステップでは、前記第１距離依存値および前記第２距離依存値の大小関係も考慮して、前記第１周波数成分に基づく測距可能な領域であるか否かを判断する、
    請求項１４または１５に記載の距離算出方法。
17. 前記距離情報算出ステップでは、前記第１距離依存値から求められる距離情報と前記第２距離依存値から求められる距離情報との平均値を、最終的な距離情報として算出する、
    請求項１３から１６のいずれか１項に記載の距離算出方法。
18. 前記距離情報算出ステップでは、前記第１距離依存値から求められる距離情報と前記第２距離依存値から求められる距離情報とを、前記第１距離依存値および前記第２距離依存値の信頼度に応じた重みにより重み付けした平均値から前記距離情報を算出し、
    前記第１距離依存値の信頼度は、前記第１周波数成分の振幅量の総和と第１周波数帯とに基づいて決定され、
    前記第２距離依存値の信頼度は、前記第２周波数成分の振幅量の総和と第２周波数帯とに基づいて決定される、
    請求項１３から１６のいずれか１項に記載の距離算出方法。
19. 前記第１距離依存値算出ステップでは、前記第１画像から抽出した第１周波数成分および第２画像から抽出した第１周波数成分の大小関係を考慮して、前記第１距離依存値を算出し、
    前記第２距離依存値算出ステップでは、前記第１画像から抽出した第２周波数成分およ
    び第２画像から抽出した第２周波数成分の大小関係を考慮して、前記第２距離依存値を算出する、
    請求項１３から１８のいずれか１項に記載の距離算出方法。
20. 異なる撮影パラメータを用いて撮影されたぼけが異なる第１画像と第２画像から被写体の距離情報を算出する距離算出方法であって、
    前記第１画像および前記第２画像のそれぞれから、ｎ（ｎは２以上の整数）個の周波数帯の周波数成分を抽出する抽出ステップと、
    前記抽出手段が抽出した周波数成分から前記距離情報を算出する距離算出ステップと、
    を含み、
    前記距離算出ステップは、
    前記ｎ個の周波数成分のそれぞれについて、前記第１画像および前記第２画像から抽出された周波数成分に基づいて距離依存値を算出する距離依存値算出ステップと、
    前記第１画像に含まれる各領域が、ｉ（iは１以上ｎ−１以下の整数）番目に高い周波
    数成分に基づいて測距可能であるか否かを、ｉ＋１番目に高い周波数成分に対応する距離依存値とから判断する判断ステップと、
    前記第１画像に含まれる各領域について、当該領域の測距が可能な周波数成分のうち最も高い周波数成分に対応する距離依存値に基づいて、前記距離情報を算出する距離情報算出ステップと、
    を含む、距離算出方法。
21. 前記判断ステップでは、ｉ＋１番目に高い周波数成分に対応する距離依存値が所定の範囲内の値であるか否かに応じて、ｉ番目に高い周波数成分に基づいて測距可能であるか否かを判断する、
    請求項２０に記載の距離算出方法。
22. 前記判断ステップでは、ｉ番目に高い周波数成分に対応する距離依存値とｉ＋１番目に高い周波数成分に対応する距離依存値の大小関係も考慮して、ｉ番目に高い周波数成分に基づいて測距可能であるか否かを判断する、
    請求項２１に記載の距離算出方法。
23. 前記距離情報算出ステップでは、前記判断手段によってｎ−１番目に高い周波数成分に基づく測距が不可能と判断された領域の距離情報を、測距範囲外を示す値とする、
    請求項２０から２２のいずれか１項に記載の距離算出方法。

Images