JP2015032144A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】撮影時に測距範囲を確認可能な撮像装置を提供する。
【解決手段】撮像装置１は、画像を取得する画像取得手段（画像形成回路１０３）と、第１の距離マップを取得する距離マップ取得手段（距離マップ算出回路１０６）と、前記第１の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成手段（測距範囲マップ生成回路１１２）と、前記画像と前記測距範囲マップとを合成した合成画像を生成する合成手段（画像合成回路１１３）と、前記合成画像を表示する表示手段（画像出力部１１４）と、を備える。
【選択図】図１

Description

本発明は、撮像装置に関し、特に、距離マップを取得可能な撮像装置に関する。

従来、観賞用の画像と同時に距離マップを取得する方式として、ステレオ方式（例えば、特許文献１）や、Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ、特許文献２）、Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ（ＤＦＦ、特許文献３）などがある。これらの方式は、特殊な照明を必要としないパッシブ方式であるため、一般的な撮像装置に好適な距離マップ取得方式である。ＤＦＤ、ＤＦＦは、撮影画像のぼけ方が撮影シーンの撮像装置からの距離によって異なることに基づき、複数の撮影条件で撮影された画像群（２画像以上）のぼけ方の違いを解析し距離マップを算出する方法である。一方、ステレオ法は、三角測量の原理に基づき、２視点以上の撮像画像中の各画素の対応関係から求めた視差に基づき、対象シーンの距離マップを算出する方法である。ステレオ法の実施形態は、撮像装置を複数並べたり、光学系の瞳分割をして１つの撮像装置で２視点の画像を取得したりするなど様々な形態がある。

このようにして算出された距離マップは、主被写体付近を切り出す切り出し機能に利用されたり、主被写体以外の領域をぼかして擬似的に被写界深度を狭くする背景ぼかし機能に利用されたり、様々な画像処理に適用することができる。

特開平０４−１３８５７７号公報 特開平０１−１６７６１０号公報 国際公開第２００２／０８２８０５号公報

前述の通り、距離マップを用いた画像処理を撮影者の所望の通りに行うには、ユーザが望む画像処理効果に必要な距離マップが取得されている必要がある。具体的には、連続的な奥行きを有するシーンに対して、距離マップを用いてぼけを連続的に変化させて表現させたい場合、変化させたい奥行き方向の範囲の距離マップを取得する必要がある。しかし、後述する通り、ＤＦＤ、ＤＦＦやステレオ法などの距離マップ取得方式では、取得可能な距離マップの奥行き範囲（以後、測距範囲と呼ぶ）は、距離マップ取得時のパラメータに依存する。したがって、所望の測距範囲を得るにはパラメータを適切に設定する必要がある。例えば、距離マップを利用した画像処理において所望の効果を得ようとした場合、撮影シーンに適応した測距範囲を有する距離マップを得るためのパラメータ設定を行う必要がある。しかし、従来は距離マップを撮影時に確認することができなかったため、撮影後の画像処理結果を観察するまで所望の画像処理結果を得ることが可能か否かを確認できないという課題があった。

上記課題を考慮して、本発明は、撮影中に取得する距離マップの測距範囲を確認可能な撮像装置を提供することを目的とする。

上記課題を解決するために、本発明に係る撮像装置は、画像を取得する画像取得手段と、第１の距離マップを取得する距離マップ取得手段と、前記第１の距離マップに基づいて
、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成手段と、前記画像と前記測距範囲マップとを合成した合成画像を生成する合成手段と、前記合成画像を表示する表示手段と、を備える。

また、本発明に係る撮像装置の制御方法は、画像を取得する画像取得ステップと、第１の距離マップを取得する第１の距離マップ取得ステップと、前記第１の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成ステップと、前記画像と前記測距範囲マップとを合成した合成画像を生成する合成ステップと、前記合成画像を表示する表示ステップと、を含む。

本発明によれば、撮影中に取得する距離マップの測距範囲を確認することが可能となり、撮影者が所望する画像処理効果を得ることができる。

実施例１に係る撮像装置の構成を示すブロック図である。 実施例１に係る撮像装置の動作を示すフローチャートである。 実施例１に係る撮像装置の表示部における表示例を模式的に示した図である。 実施例２に係る撮像装置の構成を示すブロック図である。 ＰＳＦの断面をプロットした図である。 ＰＳＦピーク値のデフォーカス特性を示す図である。 ＰＳＦピーク比の特性を示す図である。 ＦＢ量の変化に伴うＰＳＦピーク比の変化を示す図である。 計測範囲とＰＳＦピーク比の値域のＦＢ量依存性を示す図である。 ステレオ法の原理を示す図である。

本発明は、例えばデジタルカメラなどの撮像装置の一機能として実装される。まず、パッシブ方式の距離マップ取得方式であるＤＦＤ法、ＤＦＦ法、ステレオ法の距離マップ取得原理と測距範囲を説明する。その後、本発明の具体的な実施形態について、図面を参照しながら説明する。ただし、本発明の範囲は実施形態の説明で図示した例に限定されるものではない。

＜ＤＦＤの距離計測原理および計測可能な距離範囲＞
（距離計測の原理）
ＤＦＤ法は、同一の被写体を、撮影条件を変えて複数回撮影し、撮影画像のぼけ方の違いを手掛かりとして、距離マップを取得する。ここでは、撮影条件として、フォーカス位置を２回変えて撮影した場合を説明する。なお、本明細書中でフォーカス位置の変更量であるフォーカスブラケット量（ＦＢ）は、特に断りの無い限り、センサ側（以下、像面）の移動量（第一フォーカス位置の像面と第二フォーカス位置の像面の間の距離）を指す。

（ＰＳＦピーク値のデフォーカス特性）
本実施形態のＤＦＤ法では、光学系のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点拡がり関数）のピーク値のデフォーカス特性を利用して距離を推定する。以下、収差の無い理想的な撮像光学系のＰＳＦを用いて説明するが、実際の撮像光学系においてもほぼ同様に扱うことができる。

フォーカス位置での収差の無い理想的なＰＳＦの形状は、ＰＳＦ中心の座標における値をピークとしてなだらかに減少していくガウス関数のような形状をしている。図５にＰＳ
Ｆの断面形状を実線で示す。デフォーカスするに従い、ＰＳＦ座標中心での値は低下し、形状は崩れていく。図５の点線はそれぞれ、２０μｍ、４０μｍ、６０μｍ、８０μｍだけデフォーカスした場合のＰＳＦの断面を示している。ここでは、このＰＳＦの座標中心での値を「ＰＳＦピーク値」と定義する。

図６は、収差がない理想的な撮像光学系におけるＰＳＦピーク値のデフォーカス特性を示している。横軸がデフォーカス量、縦軸がＰＳＦピーク値である。なお、撮影条件は、撮像光学系の焦点距離：１８．０ｍｍ、Ｆ値：４．００、物体距離：３０００ｍｍ、フォーカスブラケット量：−０．０２ｍｍ、波長：５８７．５６ｎｍである。図６に示すように、ＰＳＦピーク値はフォーカス位置で最大となり、デフォーカスするに従って低下し、ＳＩＮＣ関数のように振動しながら０へと近づいていく。

（ＰＳＦピーク比）
次に、ＰＳＦピーク値から距離を算出する方法について説明する。図６に示したように、ＰＳＦピーク値はデフォーカス量に依存する。従って、ＰＳＦピーク値を撮影画像から算出できれば、デフォーカス量がわかり、被写体までの物体距離に換算することが可能となる。しかしながら、被写体の空間周波数等の影響があるため、１枚の画像から撮像光学系のＰＳＦピーク値を正確に求めることは困難である。そこで、撮影条件を変えて撮影した複数の画像を用いて、被写体の影響を除去する。被写体の影響をキャンセルするためには、比を取るのが良い。以下、２つの画像からそれぞれ求めたＰＳＦピーク値の比を「ＰＳＦピーク比」と定義する。本実施形態の距離計算では、理論的に求めた撮像光学系のＰＳＦピーク比のデフォーカス特性と、実際に撮影して得た２枚の画像から求めたＰＳＦピーク比の値との対応を取ることで距離を算出する。

図７は、理論的に求めた、２画像それぞれＰＳＦピーク値のデフォーカス特性と、ＰＳＦピーク比のデフォーカス特性を示している。撮影条件は図６と同じである。横軸は像面側のフォーカス位置である。図７において、点線で示した２つの曲線が、フォーカス位置の異なる２つのＰＳＦピーク値のデフォーカス特性であり、実線で示した曲線が、ＰＳＦピーク比のデフォーカス特性である。ピーク比をとる際は、ピークの大きな方を分母とすることで、正規化している。その結果、ＰＳＦピーク比は最大値が１となり、２つのフォーカス位置の中間位置にピークを持ち、ピークから離れるに従い値が低下していく対称な曲線となる。

実際に撮影された２画像から、画像中の各点（画素又は画像群）のＰＳＦピーク比を求め、その値を図７の実線で示されるデフォーカス特性に当てはめれば、画像中の各点に写っている物体が、基準のフォーカス位置からどれだけ離れているかを計算できる。なお、図７の場合、基準のフォーカス位置は、２画像のフォーカス位置の中間位置である。また、どちらのＰＳＦピーク値で正規化したか（どちらのＰＳＦピーク値が大きいか）により、基準のフォーカス位置より手前側（撮像装置側）か奥側かの区別も可能である。

ＰＳＦピーク比から物体側での距離Ｚ０を求めるためには、まずＰＳＦピーク比の値から、像面上でのフォーカス位置からのデフォーカス量Ｚｉを求める。次に、焦点距離ｆおよび物体距離ｓから、式２により像面側距離ｓ’を求め、デフォーカス量Ｚｉを用いて式３により物体距離側の距離Ｚ０に変換する。

（画像からのＰＳＦピーク比算出方法）
実際に撮影して得られた２画像からＰＳＦピーク比を計算する方法について説明する。２画像において、対応する局所領域Ｉ１とＩ２はシーンｓとＰＳＦ１およびＰＳＦ２の畳み込みで表される。フーリエ変換した前記領域をＦＩ１、ＦＩ２とし、シーンｓのフーリエ変換をＳとすると、この比は、式３のように表される。

ここで、ＰＳＦをフーリエ変換した光学伝達関数をＯＴＦとし、２つのＯＴＦの比をＯＴＦｒとする。このＯＴＦｒは、式３に示すようにシーンＳが打ち消されることでシーンに依存しない値となる。このＯＴＦｒからＰＳＦピーク比ＰＳＦｒを求めるには、式４に示すようにＯＴＦｒの平均値を求めればよい。ＰＳＦのピークが画像Ｉ１，Ｉ２の中心にあるとすると、ＰＳＦピーク比ＰＳＦｒは

が成り立つ。これを離散的に表現すると、

となる。式５により画像から算出されたＰＳＦピーク比ＰＳＦｒを図７に示すようなＰＳＦピーク比のデフォーカス特性に当てはめることで、局所領域Ｉ１とＩ２に写っている物体のデフォーカス量、すなわち距離情報を得ることができる。

（測距範囲）
次に、ＰＳＦピーク比を用いた距離計測において、計測可能な距離範囲（以下、測距範囲）に関して図７を用いて説明する。図７の実線で示すように、ＰＳＦピーク比のデフォーカス特性は、異なる二つのフォーカス位置の中間位置から徐々に値が低下し、極小値に達した後、再び上昇し、これを繰り返す。これは図６に示すように、ＰＳＦピーク値のデフォーカス特性が振動しているためである。以下、ＰＳＦピーク値、ＰＳＦピーク比などのデフォーカス特性曲線における最大ピークを「最大ピーク」もしくは「一次ピーク」と呼び、最大ピークの前側と後ろ側にそれぞれ最初に現れる極小値を「一次極小値」と呼ぶ。

図６のＰＳＦピーク値のデフォーカス特性を見ればわかるように、一次極小値以降のＰＳＦピーク値は、値が小さくノイズ等の影響を受けやすい。そのため、比を取った際にばらつきが大きく信頼性が低い。よって、測距範囲は、ＰＳＦピーク比のデフォーカス特性（図７の実線）において、最大ピークの前側の一次極小値の位置と後側の一次極小値の位置の間の測距範囲７０１である。実際には、ＰＳＦピーク比がゼロに近いとノイズ等によ
り精度が下がるため、前側の一次極小値と後側の一次極小値の間よりもやや狭い範囲を計測可能範囲に設定することが望ましい。図７の例では約−７５μｍ〜５５μｍが計測可能範囲となる。なお、図における負方向を前側とする。

ここで、計測可能範囲を規定するＰＳＦピーク比の一次極小値の位置は、ＰＳＦピーク値のデフォーカス特性（図６）の一次極小値の位置に依存する。すなわち、図７に示すように前側のＰＳＦピーク比の一次極小値の位置は、フォーカス位置の異なる２画像のうち、フォーカス位置が後側の画像のＰＳＦピーク値の前側の一次極小値の位置に対応している。一方、後側のＰＳＦピーク比の一次極小値の位置は、フォーカス位置が前側の画像のＰＳＦピーク値の後側の一次極小値の位置に対応している。つまり、計測可能範囲は、ＰＳＦピーク値のデフォーカス特性（前後の一次極小値の間隔）とフォーカスブラケット量によって決まる。

光学系のＦ値をＦ、光の波長をλとしたとき、その光学系（収差は無いものとする）におけるＰＳＦピーク値のデフォーカス特性における前側と後側の一次極小値の間隔は、約１５Ｆ^２λと求めることができる（「約」と記載したのは、厳密には、前後の一次極小値の間隔は１５Ｆ^２λ〜１６Ｆ^２λの間の値となるからである）。従って、フォーカスブラケット量をＦｂとすると、計測可能範囲Ｒは以下の式で表される。

（フォーカスブラケット量とＰＳＦピーク比の特性）
次に、フォーカスブラケット量と計測可能範囲の変化の関係、およびフォーカスブラケット量とＰＳＦピーク比の値域変化の関係を説明する。図８（ａ）〜（ｆ）にフォーカスブラケット量を変えた場合のＰＳＦピーク値のデフォーカス特性と、ＰＳＦピーク比の変化を示す。フォーカスブラケット量は、２つのＰＳＦピーク値のデフォーカス特性（点線）の横軸方向の差である。つまり、図８（ａ）〜（ｆ）にいくに従って、フォーカスブラケット量を徐々に大きくしている。ここでは、２つのＰＳＦピーク値のデフォーカス特性の交点（点線の交点）における値が、ＰＳＦピーク値の最大値の９９．８％、９０％、７０％、５０％、２０％、５％となるように設定した例を示している。フォーカスブラケット量の増加に伴い、ＰＳＦピーク比（実線）の特性が変化することが分かる。具体的には、フォーカスブラケット量が大きくなるに従って、計測可能範囲（ＰＳＦピーク比の最大ピークの前側の一次極小値位置と後側の一次極小値位置の間の範囲）が狭くなっていくことがわかる。このような特性は式６から明らかである。

ＰＳＦピーク比の値域（ＰＳＦピーク比の最大値と一次極小値の差）は、フォーカスブラケット量が大きくなるにつれて急激に広がり、その後、徐々に１に近づいていく。ＰＳＦピーク比の値域が広いほど距離分解能が高く、ノイズ等の変動要因に対して耐性が高くなり距離推定精度が向上する。また、フォーカスブラケット量が大きくなるに従い、ＰＳＦピーク比のデフォーカス特性が急峻になっていくが、これも距離分解能（推定精度）に影響する。ＰＳＦピーク比の傾きが大きければ、僅かな距離差でもＰＳＦピーク比の値の変化を検知しやすくなるからである。

フォーカスブラケット量に伴う計測可能範囲の変化、およびＰＳＦピーク比の値域の変化をそれぞれ図９（ａ）、（ｂ）に示す。図９（ａ）において、横軸がフォーカスブラケット量であり、縦軸が像面側での計測範囲である。同様に図９（ｂ）において、横軸がフォーカスブラケット量であり、縦軸がＰＳＦピーク比の値域である。ここで、ＰＳＦピーク比は正規化されているため、値域の最大値は１である。なお、フォーカスブラケット量が０の場合は距離計測できないため特異点となる。図９（ａ）、（ｂ）より、フォーカス
ブラケット量を大きくしていくと計測可能範囲が狭くなるものの、距離分解能（推定精度）は向上することが分かる。

（最適な撮影条件の指針）
式６に示したように、測距範囲（Ｒ）は、Ｆ値（Ｆ）、波長（λ）、及びフォーカスブラケット量（ＦＢ）の関数で与えられる。また、図９（ａ）、（ｂ）から分かるように、フォーカスブラケット量（ＦＢ）を変えると、測距範囲（Ｒ）だけでなく、距離分解能（推定精度）も変化する。従って、所望の距離範囲や精度といった計測条件が与えられた場合に、それを満足するように、各画像を撮影する際のフォーカス位置や光学系のＦ値などの撮影条件を適切に設定することが望ましい。

基本的な考え方は次のとおりである。計測すべき距離範囲が狭いほど、２画像を撮影するときのＦ値は小さくするとよい。Ｆ値を小さくするほど被写界深度が浅くなる（ＰＳＦピーク比のデフォーカス特性が急峻になる）ので、距離分解能（推定精度）の向上が期待できるからである。このときのフォーカスブラケット量はＦ値に応じて適宜決めればよい。また、Ｆ値を変更できない撮像装置の場合には、計測すべき距離範囲が狭いほど、フォーカスブラケット量を大きくすればよい。上述したように、フォーカスブラケット量を大きくするほど距離分解能（推定精度）が向上するからである。

Ｆ値とフォーカスブラケット量の具体的な決定方法の一例を説明する。まず、Ｆ値（Ｆ）とフォーカスブラケット量（ＦＢ）を次の関係式を用いて設計する。つまり、フォーカスブラケット量を被写界深度に比例する量として捉えるのである。なお式８において、ｋはフォーカスブラケット量の大きさを調整するための係数、λは波長である。

式７を式６に代入したものが、下記の式８である。

例えば、測距範囲ｒが与えられた場合には、式９を用いて、距離範囲ｒを満足するＦ値を決定することができる（係数ｋと波長λは予め決まっているものとする）。具体的には、ｒ≦Ｒ、すなわち、

を満たすように、Ｆ値を決める。例えば、撮像光学系で設定可能なＦ値の中で、式９を満たす最小のＦ値を選べばよい。そして、そのＦ値を式７に代入することにより、フォーカスブラケット量ＦＢを決定することができる。２つの画像を撮影するときのフォーカス位置（像面側の位置）は、距離範囲ｒの中心位置ｒｃを基準に、それぞれ、ｒｃ−ＦＢ／２、ｒｃ＋ＦＢ／２のように決めればよい。以上の方法により、計測可能範囲Ｒを計測可能な撮影条件として、Ｆ値、フォーカスブラケット量、２画像それぞれのフォーカス位置を決定することができる。

（係数ｋ）
次に係数ｋの好ましい値について説明する。本発明者はシミュレーションと実験により、好ましい係数ｋの値を以下のように見出した。係数ｋは、０＜ｋ＜１５の範囲の値とすべきである。ｋが１５よりも大きいと、被写体のボケが大きくなりすぎ、計測精度が低下
するからである。なお、ｋ＝０が除外されているのは、同じフォーカス位置の画像からはボケの違いが得られないからである。距離計測の目的が、距離の２層分離、つまり被写体が特定の距離範囲に含まれるか否かを判定するというものである場合、係数ｋは、８＜ｋ＜１５の範囲の値に設定するとよい。係数ｋが大きいほどフォーカスブラケット量は大きくなり、計測可能範囲が狭まる（図８（ｅ）、（ｆ）参照）。計測可能範囲が狭いということは、ある特定の距離周辺に被写体が存在するかしないかで、ＰＳＦピーク比の値が大きく変化するということである。よって、２層分離の場合は、フォーカスブラケット量をある程度大きくするほうがよい。

一方、距離計測の目的が、距離の多層分離、つまり被写体が３つ以上の距離範囲のうちのいずれに含まれるかを判定するというものである場合、係数ｋは、１＜ｋ≦８の範囲の値に設定するとよい。図８（ｂ）〜（ｄ）に示すように、係数ｋが小さいほどフォーカスブラケット量は小さくなり、計測可能範囲が広がるため、２層以上の分離に適するからである。なお、０＜ｋ≦１の範囲を除外した理由は、この場合は、計測可能範囲は広がる反面、距離分解能が低下してしまうため、多層の分離に向かないからである（図８（ａ）参照）。さらに、係数ｋが２≦ｋ＜４の範囲の値であると好適である。この範囲では、計測可能範囲の広さと距離分解能のバランスが特に良好となり、広い距離範囲を高い精度で計測することが可能になるからである（図８（ｂ）、（ｃ）参照）。以上のように、距離計測の目的に応じて、係数ｋの値は０〜１５の範囲で適宜設定すればよい。

以上、説明したように、ＤＦＤ法において、測距範囲と２画像の撮影条件に関連性がある。すなわち、所望の測距範囲の正しい距離マップを取得するには、そのシーンに応じた撮影条件を設定する必要がある。

＜ＤＦＦ法の距離計測原理および計測可能な距離範囲＞
ＤＦＦ法の場合は、フォーカス位置を変更して取得した複数の画像の中で、被写体領域中の最も合焦しているフォーカス位置を決定し、その位置から物体側の距離を式２の結像公式を用いて算出することができる。このフォーカス位置をどの範囲で動かすかによって、測距範囲が決定する。しかし、フォーカス位置の移動範囲を広くすれば、その分時間がかかるためフォーカス位置の移動ステップを粗くするなど、トレードオフ関係があることは容易に想像できる。

＜ステレオ法＞
次に、図１０を用いて、ステレオ法の距離計測原理および計測可能な距離範囲について説明する。図１０（ａ）は三次元空間中の点Ｐを、同一の焦点距離を有する２台のカメラを用いて撮影している状況を上から見た模式図である。各撮像装置の光軸は並行で、かつ、同一の高さに設置されるよう調整されているものとする。また、図１０（ｂ）は、左右の撮像装置で取得した画像をそれぞれ表している。

今、点Ｐが左カメラ、右カメラのそれぞれのＰｌ（ｕ，ｖ）、Ｐｒ（ｕ’，ｖ’）に写っているとする。焦点距離から点Ｐまでの距離をＤ、撮像装置の焦点距離をｆ、撮像装置の光軸間の距離（以下、基線長と呼ぶ）をｂ、各カメラで取得した画像の点Ｐの位置ＰｌとＰｒの差（以下、視差）をｄで表現すると、Ｄは式（１０）で算出することができる。

なお、視差ｄは、撮像装置の光軸が平行で、同一の高さになるよう校正されているため、式１０に記載の通り、横方向の変化のみを考えればよい。各撮像装置の光軸や高さが校正
されていない場合は、事前に校正する必要がある。式１０の通り、ｆは光学系が決定すれば一意に定まるが、基線長ｂおよび視差ｄは計測対象までの距離に必要な分解能によって適切に設定する必要がある。基線長に関しては、カメラの配置を変更することで対応が可能である。

視差は、一般的には、左右の画像を対応する点を全画素について算出して求める必要があり、基準とする画像の局所領域を他方の画像から探索するブロックマッチング等の画像処理により求める。この時、視差の最小分解能は、前記ブロックマッチングの探索精度に依存し、画素間隔あるいはサブ画素間隔である。また、視差の値域（範囲）は、ブロックマッチングの探索範囲に依存し、撮影シーンのなかで測距したい近景までの距離に対応する視差と、許容される計算時間によって決定される。即ち、探索範囲が狭ければ、ある距離より手前側の対象物は検出できなくなる。このように、ステレオ法においては、探索範囲と測距可能な範囲にトレードオフの関係がある。

以上、パッシブ距離マップ取得方式として、ＤＦＤ、ＤＦＦ、ステレオ法それぞれの方式の距離マップ取得原理および測距範囲の関係について説明した。いずれの方式も、測距範囲は事前に設定したパラメータと関連がある。そのため、撮影対象・撮影条件に応じて調整できることが望ましいことが分かる。
＜実施例１＞

以下、本発明の好ましい実施形態について図面を参照しながら説明する。ただし、発明の範囲は実施形態の説明で図示した例に限定されるものではない。

（構成）
図１は、本実施形態に係る撮像装置１の構成を模式的に示している。撮像装置１は、ＤＦＤ方式により距離マップを取得する。撮影レンズ１００は、撮像素子１０２に被写体光を導く。露光制御部材１０１は絞りやシャッタ等を含む。撮影レンズ１００を介して入射された被写体光は、露光制御部材１０１を介して撮像素子１０２へ入射される。撮像素子１０２は被写体光を電気信号に変換して出力する撮像素子であり、典型的にはＣＣＤやＣＭＯＳ等のイメージセンサで構成される。画像形成回路１０３は、撮像素子１０２から出力されたアナログ信号をデジタル化して画像化するための画像形成回路である。画像形成回路１０３は、不図示のアナログ／デジタル変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換回路などによって構成される。画像形成回路１０３は、本発明における画像取得手段に相当する。露光制御部１０４は、露光制御部材１０１を制御する手段である。また、フォーカス制御部１０５は撮影レンズ１００のフォーカシングを制御する手段である。露光制御部１０４およびフォーカス制御部１０５は、例えば、ＴＴＬ方式（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ：撮影用のレンズを実際に通った光を測定することで露出やフォーカスを制御する方式）を用いて制御される。距離マップ算出回路１０６は、フォーカス制御部１０５で制御されたフォーカス位置に応じ、距離マップパラメータ算出回路１０７で制御された撮影条件で撮影された２画像を基に距離マップを算出する回路である。距離マップパラメータ算出回路１０７は、フォーカス制御部１０５で制御されたフォーカス位置や、所望の測距範囲などから距離マップを取得するために好適な撮影条件を算出する回路である。システム制御回路１０８は、撮像装置１全体の動作を司る制御回路であり、撮影のための光学系の制御と、撮影した画像をデジタル処理するための制御を行う。距離マップ算出回路１０６および距離マップパラメータ算出回路１０７は、それぞれ、本発明における距離マップ生成手段およびパラメータ変更手段に相当する。

メモリ１０９は、システム制御回路１０８で用いる動作制御用のデータ、および処理プログラムなどを記録するフラッシュＲＯＭ等を用いたメモリである。また、不揮発性メモ
リ１１０は各種調整値などの情報を記憶する、電気的に消去および記録可能なＥＥＰＲＯＭ等の不揮発性メモリである。フレームメモリ１１０は、画像形成回路１０３で生成された画像を数フレーム分記憶するフレームメモリである。また、メモリ制御回路１１１は、フレームメモリ１１０に入出力される画像信号を制御するメモリ制御回路である。測距範囲マップ生成回路１１２は、距離マップ算出回路１０６で生成された距離マップを元に測距範囲を表す測距範囲マップを生成する回路である。画像合成回路１１３では、画像形成回路１０３で生成された観賞用画像と測距範囲マップ生成回路１１２で生成された測距範囲マップを合成し、不図示の表示装置に表示する表示画像を生成する回路である。画像出力部１１４は、画像形成回路１０３や画像合成回路１１３で生成された画像を不図示の画像出力装置（ディスプレイ等）に表示するための機能部である。入力部１１５は、ユーザからの入力操作を受け付けるための機能ブロックであり、ボタンやスイッチ、タッチパネルなどから構成される。本実施例では、ユーザは、測距範囲マップが合成された表示画像を確認しながら、測距範囲の調整を指示する操作を入力可能である画像処理部１１６は、観賞用画像に対して距離マップに基づいた画像処理（例えば、切り出し処理や背景ぼかし処理など）を行う。

（処理の流れ）
次に、図２のフローチャートを用いて、本実施形の撮影開始から完了までの処理の流れを説明する。まず、ステップＳ２０１では、撮影者が撮影対象に対して、ズームなどを行い、構図を決めと同時にシャッタ速度やＦナンバーなど所定の撮影条件を設定する。なお、撮影条件の一部を撮像装置１が自動的に決定しても良い。また、ここでは、距離マップを取得して所望の画像処理を行うモードにユーザが設定したものとする。

次に、ステップＳ２０２で、撮影スイッチの１ｓｔスイッチを押したか否かを判定する。押していない場合は何もせず、押した場合はステップＳ２０３へ移動する。

ステップＳ２０３では、Ｓ２０１で決定した構図や撮影条件でフォーカス調整を行う。このフォーカス調整方法は、コントラスト法や位相差方法など、様々な方法によって実現可能で、特に制限はない。

ステップＳ２０４では、距離マップパラメータ算出回路１０７が、距離マップ取得のための撮影条件、および距離マップ生成のパラメータ（距離マップ取得用パラメータ）設定を行う。まず、距離マップ取得のための撮影条件として、ステップＳ２０３で取得したフォーカシング制御における主被写体までの距離ｓを取得する。続いて、測距範囲の初期値ｒ０を設定する。この初期値の設定方法は、特に制限はなく、主被写体距離ｓと焦点距離から設定したり、主被写体距離から想定される像倍率などから決定したりすればよい。例えば、ｓ＝２０００ｍｍで、主被写体が人物の上半身のような場合、後段の画像処理では主被写体はぼかさず、かつ、背景の連続的な奥行きは奥行きに応じてぼかしたい場合を想定すると、ｒ０は約５ｍ程度とする。このような、測距範囲初期値をテーブルで保持してもよいし、所定の関係式から類推してもよいし、撮影者の設定履歴などから類推してもよいし、その方法には制限はない。距離マップパラメータ算出回路１０７は、決定した測距範囲に応じて、距離マップ取得のための２画像のフォーカス位置を決定する。ここでは、一方の画像のフォーカス位置は主被写体の位置とし、他方の画像のフォーカス位置は上記測距範囲を満たすようなフォーカスブラケット量だけ主被写体位置から変更した位置とする。

さらに、ここでは、ステップＳ２０５で行う距離マップ生成のパラメータ設定を行う。ここでは表示部に表示可能な画素数相当の解像度（観賞用画像よりも低い解像度）で距離マップを生成すればよいので、そのようなパラメータ設定を行えばよい。一般的に表示部の画素数はＶＧＡ（６４０ｘ４８０画素）程度なので、距離マップを求める位置を表示部
の画素数に相当するように算出することで、計算コストを低減し高速化を図る。このことで、本撮影前に距離マップの測距範囲を確認することが可能となる。

次に、ステップＳ２０５において、プレ撮影を行って、表示用の観賞画像（以下、プレビュー画像）および表示用距離マップの取得を行う。システム制御部１０８は、ステップＳ２０６において設定された撮影パラメータにしたがって、２枚の画像を撮影する。画像形成回路１０３は、２画像のうち主被写体にフォーカスがあった画像に対して、所定の信号処理を施してプレビュー画像を生成する。プレビュー画像の画質（解像度等）は本撮影時よりも低品質でよい。一方、距離マップ算出回路１０６は、２画像とステップＳ２０６で設定されたパラメータに基づいて表示用距離マップを生成する。距離の算出方法は、式１〜式５に示した通り、撮影条件の異なる２画像のＰＳＦピーク比に基づいて、距離マップを算出する。なお、局所領域の大きさは任意である。この時、ステップＳ２０４において、離散的に距離マップを算出するよう設定されているため、算出していない領域は算出した領域で代表したり、補間したりするなどの処理を行って距離マップを生成すればよく、その方法に制限はない。

ステップＳ２０５では、測距範囲マップ生成回路１１２が、生成された表示距離マップに基づいて、測距範囲マップを生成する。測距範囲マップは、測距可能な範囲（奥行き範囲）を表すマップで、画素毎に測距可能か否かを示す。例えば、距離マップをＤとして、測距範囲を表すスコアの最小値および最大値をｓｍｉｎおよびｓｍａｘとしたときに、測距範囲マップＲは、Ｒ＝１（ｓｍｉｎ≦Ｄ≦ｓｍａｘ）、０（それ以外の時）である。

次に、ステップＳ２０６で、画像合成回路１１３は、ステップＳ２０５で生成した測距範囲マップとプレビュー画像（観賞用画像）を合成した合成画像を生成し、画像出力部１１４が不図示の画像表示装置にこの合成画像を表示する。合成画像は、プレビュー画像において、どの部分が測距範囲内であるかが分かるように表示された画像である。具体的には、プレビュー画像をＩ、測距範囲マップＲ、表示用合成画像をＩ’とすると、以下の式に基づいて合成画像を生成することができる。

ただし、αは、０＜α＜１を満たす定数である。

この様子を、図３を用いて説明する。図３（ａ）は、撮影者が構図や撮影条件を決定した状態の表示画像であり、主被写体４０１をピント面として、背景の壁４０２が連続的に続いているシーンを表している。図３（ｂ）が、ステップＳ２０２で１ｓｔスイッチを押下後、ステップＳ２０３〜Ｓ２０６にかけて、表示用距離マップを取得し、測距範囲４０３を合成して表示した様子を表している。ここで、測距範囲を表すＲを二値で表すようにしたが、測距範囲４０３を識別可能な態様であれば、任意の方法により合成画像を生成することができる。たとえば、濃淡や擬似色をつけるようにしてもよく、その方法に特に制限はない。

次にステップＳ２０７において、撮影者が合成画像を観察して、表示されている測距範囲で所望の画像処理が実現可能か否かを判断する。その様子を図３（ｃ）に示す。

ここで、現在の測距範囲で良ければ、撮影者は入力部１１５を操作して、図３（ｃ）のＯＫを選択する。これに応答して、距離マップパラメータ算出回路１０７は、ステップＳ２１０で画像処理用距離マップ取得のためのパラメータ設定を行う。具体的には、最終的に記録する画素数（解像度）に合わせた距離マップを生成するようパラメータ設定を行う
。次に、ステップＳ２１１で、本撮影を行って観賞用画像と距離マップの取得を行う。システム制御部１０８は、ステップＳ２１０において設定された撮影パラメータに基づいて、２枚の画像を撮影する。画像形成回路１０３は、２画像のうち主被写体にフォーカスがあった画像に対して、所定の信号処理を施して観賞用画像を生成し、所定の圧縮処理などを実施後記憶する。また、距離マップ算出回路１０６は、２つの画像とステップＳ２１０で設定されたパラメータに基づいて距離マップ（画像処理用距離マップ）を生成する。その後、ステップＳ２１２において、画像処理部１１６は、画像処理用距離マップを取得し、この距離マップに基づいて観賞用画像に対して画像処理を行い、所定の圧縮処理などを実施後に不揮発性メモリ１１０に記録する。

ステップＳ２０７で、測距範囲を変更したい場合は、撮影者は入力部１１５を操作して、図３（ｃ）のＮｏを選択する。そうすると処理はステップＳ２０８へ移り、撮影者に対して、測距範囲の変更を促す。撮影者は入力部１１５を介して測距範囲の変更指示を入力する。例えば、図３（ｄ）のように、撮影者が、現在の測距範囲４０３から測距範囲４０４のように測距範囲を広げるよう不図示のユーザーインターフェース（ボタンやタッチパネル）を用いて変更する。撮影範囲を変更するためのユーザーインターフェースは任意であって良く、例えば、測距範囲を拡大・縮小や平行移動を可能するものや、任意の範囲指定を可能とするもの採用できる。

次にステップＳ２０９において、距離マップパラメータ算出回路１０７は、ステップＳ２０８で変更された測距範囲を達成するための撮影パラメータを算出する。具体的には、距離マップパラメータ算出回路１０７は、ステップＳ２０８における測距範囲の変更度合いに基づいて撮影パラメータを変更して測距範囲を変更する。例えば、変更前の測距範囲４０３と変更後の測距範囲４０４の大きさの変更度合（大きさの比）に基づいて、撮影パラメータを変更して測距範囲を変更する。具体的には、変更前の測距範囲４０３と変更後の測距範囲４０４の変更度合が所定の閾値よりも大きい場合（測距範囲４０３の四角形の右辺と左辺と測距範囲４０３の右辺と左辺の変位量が閾値よりも大きい場合）は、Ｆ値をあらかじめ決められた量だけ変更する。一方、変更前の測距範囲４０３と変更後の撮影範囲４０４の変位量が所定の閾値以下の場合は、フォーカスブラケット量、あらかじめ決められた移動量だけ変更する。なお、測距範囲を拡大する場合には、Ｆ値を大きな値にするか、フォーカスブラケット量を小さな値に変更する。逆に、測距範囲を縮小する場合には、Ｆ値を小さな値にするか、フォーカスブラケット量を大きくする。

次にステップＳ２０９において、距離マップパラメータ算出回路１０７は、ステップＳ２０８で変更された測距範囲を達成するための撮影パラメータを算出する。具体的には、先に説明したように、Ｆナンバーやフォーカスブラケット量を再度算出し、撮影条件として設定する。この際、測距範囲４０３と測距範囲４０４の大きさの変更度合を考慮して、撮影パラメータを変更することも好ましい。具体的には、測距範囲４０３と測距範囲４０４の変更度合が大きい場合は、即ち、測距範囲４０３の四角形の右辺と左辺と測距範囲４０３の右辺と左辺の変位量が大きい場合、Ｆ値を一段大きな値に設定する。測距範囲４０３と撮影範囲４０４の変位量が小さい場合は、フォーカスブラケット量、あらかじめ決められた移動量だけ小さくすればよい。

その後、処理はステップＳ２０２に戻り、１ｓｔスイッチが押されたら、ステップＳ２０３以降について同様に処理を行う。図３（ｅ）が、変更された撮影条件で撮影した際の測距範囲４０５を表している。

（効果）
以上説明したように、本実施形態に係る撮像装置は、撮影時に表示用距離マップを取得合成し、表示部に表示している。これにより、撮影者は現在の撮影における測距範囲を容
易に確認することができる。さらに、撮影者が測距範囲の変更を指示した場合には、指定された測距範囲を測距できるように、距離マップ取得用の撮影パラメータを自動で変更する。このことで、撮影者は所望する測距範囲の距離マップを得られ、さらには所望する画像処理結果を確実に得られるという効果がある。

（変形例）
前記実施例において、距離マップ取得方法をＤＦＤ方式として説明したが、ＤＦＦ方式の場合においても適用可能である。ＤＦＦ方式の場合は、撮像装置を固定可能で、かつ、被写体が静止しているような場合に好適である。このような場合は、処理全体の流れは変わらず、各回路および処理の内容を変更するだけでよい。

まず、距離マップパラメータ算出回路１０７に、フォーカスブラケット量および範囲の初期値を撮影条件毎に保持しておけばよい。また、距離マップ算出回路１０６は、画像中の撮影された複数画像のうち、同一の局所領域中のコントラスト値などの評価値を算出し、評価値の最も高い画像から、式１、式２を用いて距離を推定して距離マップを算出すればよい。このようにして、作成した距離マップを、ＤＦＤの場合と同様に観賞用画像と合成し、表示して、測距範囲を撮影者に確認する。撮影者は、必要であれば測距範囲の変更指示を行う。ＤＦＦの場合は、測距範囲はフォーカスブラケット範囲そのものになるので、枚数を一定にして範囲を増やすよう変更すればよい。

以上のようにすることで、ＤＦＦにおいても撮影完了前に距離マップの測距範囲を確認・変更することが可能となり、ＤＦＤの場合と同様、撮影者が所望する画像処理結果を確実に得られるという効果がある。

＜実施例２＞
次に、本発明の第２の実施例として、２眼ステレオ方式で距離マップを取得し、所望の画像処理を行う場合について、図を用いて説明する。

（構成）
本実施例における撮像装置の構成を図４に示す。本実施例における撮像装置は図１に示した撮像装置１と共通するものは、図１の符号と同符号を付し、相違点のみ説明する。

本実施例に係る撮像装置４は、２眼ステレオ方式であるため、撮影レンズ４００、露光制御部材４０１、撮像素子４０２がそれぞれもう１組追加される。それらを制御する、露光制御部１０４、フォーカス制御部１０５は２組の露光制御部材、撮影レンズを制御する。また、画像形成回路１０３は、２つの撮像素子１０２、４０２からの出力を画像化することとする。距離マップ算出回路４０３、距離マップパラメータ算出回路４０４はそれぞれステレオ方式に対応した距離マップ算出およびパラメータ設定を行う回路である。２つのレンズの光軸は調整されているものとする。また、ここでは、基線長は固定とするが、基線長を変更させる機構を追加してもよく、特に限定は無い。

（処理の流れ）
次に、本実施例の撮像装置の場合の処理の流れをフローチャートを用いて説明する。
本実施例の処理の流れは、第１の実施例の処理の流れ図２と同じで、ステップＳ２０４〜ステップＳ２０５の各ステップの処理内容のみが異なるので、相違点のみ説明する。

ステップＳ２０４において、距離マップ算出をステレオ法で行うようにすればよい。ステップＳ２０４では、ステレオ法の算出パラメータを設定する。具体的には、式１０で示した通り、被写体距離は、基線長ｂと視差ｄにより決定する。基線長ｂを固定とした場合は、視差ｄの探索範囲（ブロックマッチングの探索範囲）によって、測距範囲が決定する
。探索範囲がｄ０であるということは、基準画像を左画像（ｘ，ｙ）とした際に、右画像の（ｘ±ｄ０，ｙ）で表される範囲で最も類似している領域を探索することを意味する。ただし、ここでは、撮像装置の光軸方向や高さが校正されているものとして、探索範囲を水平方向のみとしたが、校正されていない場合は垂直方向など探索範囲とすればよい。視差の探索範囲ｄ０と視差の探索範囲の関係は式１０から導ける。また、基線長ｂが可変な構成であれば、基線長ｂを変化させることによって測距範囲を調整しても良い。

ステップＳ２０６〜ステップＳ２０８は実施例１と同一の処理であるため、説明は割愛する。

ステップＳ２０９で、撮影者から指示されたように測距範囲を変更する。具体的には、撮影者の手前側に測距範囲を拡大するように指示された場合は、ブロックマッチングの探索範囲ｄ０を大きくすることで対応することが可能である。また、測距範囲を奥行き方向に拡大したい場合は、式１０からわかるように、焦点距離ｆや基線長ｂを大きくすればよい。

（効果）
以上、説明したように距離マップ取得方式がステレオ法の場合においても、撮影完了前に距離マップの測距範囲を確認することが可能となり、撮影者の所望する画像処理結果を確実に得ることが可能になる、という効果がある。

（変形例）
上記では、２眼ステレオ方式を例に説明したが、光学系の瞳分割を行って１つの光学系で２視点の画像を取得する撮像装置にも本発明を適用可能である。

＜その他の実施例＞
なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１ 撮像装置
１０３ 画像形成回路
１０６ 距離マップ算出回路
１１２ 測距範囲マップ生成回路
１１３ 画像合成回路
１１４ 画像出力部

Claims (14)

1. 画像を取得する画像取得手段と、
   第１の距離マップを取得する距離マップ取得手段と、
   前記第１の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成手段と、
   前記画像と前記測距範囲マップとを合成した合成画像を生成する合成手段と、
   前記合成画像を表示する表示手段と、
   を備える、撮像装置。
2. 前記距離マップ取得手段の測距範囲の変更指示をユーザから受け付ける変更指示手段と、
   前記変更指示手段により変更された測距範囲に基づいて、前記距離マップ取得手段が用いる距離マップ取得用パラメータを変更するパラメータ変更手段と、
   距離マップに基づいて前記画像に画像処理を施す画像処理手段と、
   を更に備え、
   前記距離マップ取得手段は、前記パラメータ変更手段によって変更された距離マップ取得用パラメータを用いて第２の距離マップを取得し、
   前記画像処理手段は、前記第２の距離マップに基づいて、前記画像に画像処理を施す、
   請求項１に記載の撮像装置。
3. 前記第１の距離マップの解像度は、前記第２の距離マップの解像度よりも低い、
   請求項２に記載の撮像装置。
4. 前記パラメータ変更手段は、前記変更指示手段による変更前の測距範囲と変更後の測距範囲の変更度合いに基づいて、距離マップ取得用パラメータを変更する、
   請求項２または３に記載の撮像装置。
5. 前記距離マップ取得手段は、ＤＦＤにより距離マップを取得するものであり、
   前記距離マップ取得用パラメータは、Ｆ値またはフォーカスブラケット量の少なくともいずれかである、
   請求項４に記載の撮像装置。
6. 前記パラメータ変更手段は、前記変更度合いが所定の閾値より大きければＦ値を変更し、前記変更度合いが前記所定の閾値以下であればフォーカスブラケット量を変更する、
   請求項５に記載の撮像装置。
7. 前記距離マップ取得手段は、ステレオ法、ＤＦＤ、ＤＦＦのいずれかの方式により距離マップを取得する、
   請求項１から６のいずれか１項に記載の撮像装置。
8. 画像を取得する画像取得ステップと、
   第１の距離マップを取得する第１の距離マップ取得ステップと、
   前記第１の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成ステップと、
   前記画像と前記測距範囲マップとを合成した合成画像を生成する合成ステップと、
   前記合成画像を表示する表示ステップと、
   を含む、撮像装置の制御方法。
9. 測距範囲の変更指示をユーザから受け付ける変更指示ステップと、
   変更指示ステップにおいて変更された測距範囲に基づいて、距離マップ取得用パラメータを変更するパラメータ変更ステップと、
   変更された距離マップ取得用パラメータを用いて第２の距離マップを取得する第２の距離マップ取得ステップと、
   前記第２の距離マップに基づいて、前記画像に画像処理を施す画像処理ステップと、
   を更に含む、請求項８に記載の撮像装置の制御方法。
10. 前記第１の距離マップの解像度は、前記第２の距離マップの解像度よりも低い、
    請求項９に記載の撮像装置の制御方法。
11. 前記パラメータ変更ステップでは、前記変更指示ステップにおける変更前の測距範囲と変更後の測距範囲の変更度合いに基づいて、距離マップ取得用パラメータを変更する、
    請求項９または１０に記載の撮像装置の制御方法。
12. 距離マップは、ＤＦＤにより取得されるものであり、
    前記距離マップ取得用パラメータは、Ｆ値またはフォーカスブラケット量の少なくともいずれかである、
    請求項１１に記載の撮像装置の制御方法。
13. 前記パラメータ変更ステップでは、前記変更度合いが所定の閾値より大きければＦ値を変更し、前記変更度合いが所定の閾値以下であればフォーカスブラケット量を変更する、
    請求項１２に記載の撮像装置の制御方法。
14. 距離マップは、ステレオ法、ＤＦＤ、ＤＦＦのいずれかの方式により取得される、
    請求項８から１３のいずれか１項に記載の撮像装置の制御方法。

Images