JP2016065744A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像装置及び撮像方法を提供する。【解決手段】カメラ（２ａ・２ｂ）と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する３次元計測処理部（１０）と、対応画像領域毎に対応画像領域の判定精度を評価する評価値比較部と、対応画像領域毎に視差に基づいてカメラ（２ａ・２ｂ）から被写体までの距離を判定し、距離画像を生成する評価値付き距離画像生成処理部（１６）とを備える。複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と判定精度とに基づいて最終距離画像を生成する最終距離画像生成処理部（２０）をさらに備えている。【選択図】図１

Description

本発明は、ステレオカメラを用いた撮像装置及び撮像方法に関するものである。

複数のカメラを用いて対象物までの距離や対象物の形状等を計測するステレオ３次元計測装置が実用化されている。ステレオ３次元計測の手法としては、カメラを２台（例えば左右）離間して配置して対象物を同時に撮影し、得られた左右画像のペアから左右の画像の対応する画素の対、つまり対応点を探索し、左右画像の対応点同士が左右方向にどれだけ離れているか、すなわち視差を求め、この視差から三角測量の原理を用いて対象物までの距離を算出する計測方法である。

ステレオ３次元計測装置において計測精度を高めるには、対応点の探索を正確に行う必要があり、そのためには、左右画像がフォーカスの合った画像であることが望ましい。しかしながら、実際には、カメラに使用されている光学系の条件により、フォーカスの合う距離範囲は限られる。フォーカスの合っていない画像からは、上記対応点の探索が正確にできず、精度の良い距離計測は望めない。このため、精度良く距離計測できる範囲がカメラの光学的条件により限定的になるという課題を有している。

ここで、この問題に関連する従来技術として、例えば特許文献１〜３に開示された技術が知られている。

例えば特許文献１に開示されたステレオ画像処理装置では、測距範囲を広げるために、画像倍率を縮小変更して実質的な視差探索範囲を広げることによって計測距離を拡大する方法が記されている。

また、特許文献２に開示された３次元画像入力装置では、測距範囲を広げるために、フォーカス距離を異ならせて得られた距離画像を合成する方法が記されている。具体的には、３次元画像入力装置は、第１の物体距離に焦点合わせをし、該第１の物体距離を狭むように第１の距離精度を入れた第１の距離検出設定をした濃淡画像及び距離画像を出力する第１の複数眼２次元画像入力装置と、前記第１の物体距離より遠い第２の物体距離に焦点合わせをし、第２の距離精度を入れた第２の距離検出設定をした濃淡画像及び距離画像を出力する第２の複数眼２次元画像入力装置とを備え、前記第１の距離精度の下限値となる距離範囲と、前記第２の距離精度の上限値となる距離範囲とが、重複するように前記第２の距離検出設定を行い、前記第１の複数眼２次元画像入力装置の少なくとも１つの光軸と、前記第２の複数眼２次元画像入力装置の少なくとも１つの光軸とを整合させ、かつ同一視線となるように構成されている。

さらに、特許文献３に開示された距離算出装置では、単眼カメラから得られた距離画像を利用する方法が記されている。

特開２００８−３９４９１号公報（２００８年２月２１日公開） 特開平６−３４３３９号公報（１９９４年２月８日公開） 特開２０１３−１８６０４３号公報（２０１３年９月１９日公開）

しかしながら、上記従来の撮像装置では、以下の問題点を有している。

まず、特許文献１に開示されたステレオ画像処理装置のように、画像倍率を縮小すると、実質的にカメラの画素ピッチが粗くなるのと同等であるので計測距離精度が低下する。また、フォーカスが合っていない物体の距離の計測に対しては、前述したように、対応点探索精度が低下し、測距誤差が大きくなってしまう。このため、倍率縮小だけでは、計測精度を維持して計測距離を拡大することには対応できない。

次に、特許文献２に開示された３次元画像入力装置では、フォーカス距離を異ならせて該フォーカス距離毎に距離画像を生成し、合成画像を生成しているものの、合成画像を生成する際に合成の元となる距離画像の距離の信頼性が考慮されておらず、必ずしも合成後の画像の精度が良いとは言えない。

次に、特許文献３に開示された距離算出装置では、ボケ量算出にて画像評価を行っていると共に、ボケ量算出を画像全体で判定している。この場合、カメラに埃や雨滴がついた等の理由によって一部分でボケ量が大きい画像と判定されると、本来、ボケが発生していない部分ではステレオカメラによる距離情報を取るべき場合でも距離精度の劣る単眼カメラによる画像からの距離情報を全画像で採用してしまうという欠点がある。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像装置及び撮像方法を提供することにある。

本発明の一態様における撮像装置は、上記の課題を解決するために、被写体を複数の異なる視点から撮影して画像を生成する撮像手段と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定手段と、上記対応画像領域毎に対応画像領域の判定精度を評価する評価手段と、上記対応画像領域毎に視差に基づいて撮像手段から被写体までの距離を判定し、距離画像を生成する距離画像生成手段とを備えた撮像装置であって、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成手段を備えていることを特徴としている。

本発明の一態様における撮像方法は、上記の課題を解決するために、被写体を複数の異なる視点から撮影して画像を生成する撮像工程と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定工程と、上記対応画像領域毎に対応画像領域の判定精度を評価する評価工程と、上記対応画像領域毎に視差に基づいて撮像手段から被写体までの距離を判定し、距離画像を生成する距離画像生成工程とを含む撮像方法であって、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成工程をさらに含むことを特徴としている。

本発明の一態様によれば、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができるという効果を奏する。

本発明の実施形態１における撮像装置のプロセッサにおける３次元計測処理部の構成を示すブロック図である。 上記撮像装置の構成を示すブロック図である。 上記撮像装置において、２つの平行化画像に対して対応点探索処理を実行する方法を示す説明図である。 （ａ）は上記撮像装置における左カメラの平行化画像上の各画素を示す説明図であり、（ｂ）は上記撮像装置における１つの注目画素に対して得られるＳＡＤ値と視差との関係曲線を示すグラフである。 上記撮像装置における処理動作を示すフローチャートである。 上記撮像装置における最終距離画像生成処理部の構成を示すブロック図である。 本発明の実施形態２における撮像装置を示すものであって、フォーカス距離の設定方法を示す説明図である。 上記撮像装置におけるフォーカス距離の設定方法を示すものであって、被写体距離に対する近点及び遠点を求める方法を示す説明図である。 本発明の実施形態３における撮像装置を示すものであって、撮像装置の構成を示すブロック図である。 上記撮像装置における処理動作を示すフローチャートである。

〔実施の形態１〕
本発明の一実施形態について図１〜図６に基づいて説明すれば、以下のとおりである。

本実施の形態の撮像装置１Ａの構成について、図２に基づいて説明する。図２は、本実施の形態の撮像装置１Ａの構成を示すブロック図である。

本実施の形態の撮像装置１Ａは、図２に示すように、右カメラ２ａ及び左カメラ２ｂから構成される撮像手段としてのステレオカメラユニット２と、上記右カメラ２ａ及び左カメラ２ｂにそれぞれ接続されたフォーカス位置調整手段としての右アクチュエータ部３ａ及び左アクチュエータ部３ｂと、上記右カメラ２ａ及び左カメラ２ｂ、並びに右アクチュエータ部３ａ及び左アクチュエータ部３ｂに接続されたプロセッサ４と、上記プロセッサ４に接続されたメモリ５とを備えている。

上記右カメラ２ａ及び左カメラ２ｂは被写体を撮像する撮像手段であり、レンズ付きのＣＣＤ（Charge Coupled Device：電荷結合素子）カメラ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補形金属酸化膜半導体）カメラでよく、カラーカメラ又はモノクロカメラのいずれでもよい。本実施の形態では、データ量が少なくて済むモノクロカメラを使用している。

右アクチュエータ部３ａ及び左アクチュエータ部３ｂは、それぞれ右カメラ２ａ及び左カメラ２ｂのレンズフォーカス位置を変更するアクチュエータ及びドライバである。例えば、アクチュエータは電磁駆動モータにて構成され、ドライバは電流制御回路にて構成されている。フォーカス位置はプロセッサ４の指示によって決められる。

プロセッサ４は、右カメラ２ａ及び左カメラ２ｂ、並びに右アクチュエータ部３ａ及び左アクチュエータ部３ｂの動作制御を実行する。また、プロセッサ４は、右カメラ２ａ及び左カメラ２ｂから得られた画像について３次元計測処理を実行する３次元計測処理部１０と、最終距離画像生成処理を実行する最終距離画像生成処理部２０等とを有している。
尚、３次元計測処理部１０及び最終距離画像生成処理部２０のそれぞれの処理については後述する。

メモリ５は、プロセッサ４が上記の３次元計測処理及び最終距離画像生成処理を実行するときに必要なプログラム、一時的なデータ格納、右カメラ２ａ及び左カメラ２ｂのキャリブレーションデータ、及びフォーカス距離等のデータを格納する。

次に、本実施の形態の撮像装置１Ａにおける、右カメラ２ａ及び左カメラ２ｂの２つのカメラを用いた３次元計測処理について、図１に基づいて説明する。図１は、本実施の形態のプロセッサ４における３次元計測処理部１０の構成を示すブロック図である。

本実施の形態の撮像装置１Ａでは、右カメラ２ａ及び左カメラ２ｂにて撮影されたキャプチャ画像は、プロセッサ４の３次元計測処理部１０にて３次元計測処理が実行される。

上記３次元計測処理を実行する３次元計測処理部１０は、図１に示すように、平行化処理部１１と、プレフィルタ処理部１２と、探索手段としての対応点探索処理部１３と、距離画像生成処理部１４と、探索手段としての評価値生成部１５と、距離画像生成手段としての評価値付き距離画像生成処理部１６とを備えている。

上記３次元計測処理部１０では、まず、右カメラ２ａ及び左カメラ２ｂにて撮影されたキャプチャ画像に対して、平行化処理部１１にてステレオ平行化処理が実行される。ステレオ平行化処理とは、複数のカメラで撮影した各画像において、例えば、広角レンズ等を用いると画像の外側に行くほど歪みが大きくなる。その歪みを補正することを平行化処理という。ステレオ平行化処理は、予め実施されたカメラキャリブレーションにより得られる。このため、メモリ５に格納されているキャリブレーションデータ１８に基づいて、右カメラ２ａのキャプチャ画像、及び左カメラ２ｂのキャプチャ画像にステレオ平行化処理を施す。キャリブレーションデータ１８は、計測を実行する前に予め２つの右カメラ２ａ及び左カメラ２ｂのそれぞれのレンズの歪や角度ずれを補正するためのデータである。

次に、ステレオ平行化後の画像（以下、「平行化画像」という。）に対して、プレフィルタ処理部１２にてプレフィルタ処理が実行され、その後、対応点探索処理部１３にて対応点探索が実行される。

まず、プレフィルタ処理部１２では、左右画像の輝度差や画像内の局所的な輝度レベルの変動等を吸収するために、プレフィルタとして微分処理されてエッジ強調処理が施される。プレフィルタとしては、例えばソベルフィルタやラプラシアンフィルタ等が用いられる。

続いて、対応点探索処理部１３の対応点探索処理について、図３及び図４の（ａ）（ｂ）に基づいて説明する。図３は、２つの平行化画像に対して対応点探索処理を実行する方法を示す説明図である。図４の（ａ）は、左カメラ２ｂの平行化画像上の各画素を示す説明図であり、図４の（ｂ）は、１つの注目画素に対して得られるＳＡＤ値と視差との関係曲線を示すグラフである。尚、本実施の形態の撮像装置１Ａでは、左カメラ２ｂを基準として、左カメラ２ｂの平行化画像上の各画素に対して右カメラ２ａの平行化画像から対応する画素を探索する処理を行うものとする。

対応点探索処理は、図３に示すように、まず、左カメラ２ｂの平行化画像の注目画素を中心として、縦横それぞれｐ×ｐ（ｐは整数）画素の正方形状の「相関窓」と呼ばれる領域を設定する。続いて、右カメラ２ａの平行化画像における縦方向の同一画素行に、同じ大きさの相関窓を設定し、これを画素行の左右方向にスライドさせながら、両画像の相関窓に含まれる画素間の相関度合いを示す判定精度としての評価値を計算する。この相関度合いを示す評価値としては、例えばＳＡＤ（Sum of Absolute Differrence：差分絶対値和）等の画素演算にて計算できる量が用いられる。下記式で表されるＳＡＤでは、値が小さいほど相関度合いが高い。

ここで、例えば、図４の（ａ）（ｂ）に示すように、所定の対応点探索範囲の左端から右端まで（図４の（ａ）（ｂ）では左カメラ２ｂの平行化画像の左端から右端まで）探索したとき、相関度合いが最も高くなる状態（最もＳＡＤ値が小さい）での右カメラ２ａの平行化画像の相関窓の中心画素位置が、左カメラ２ｂの平行化画像の注目画素に対する対応点と特定する。本実施の形態では、図４の（ｂ）に示すように、位置ｘｋ（ｋは整数）が対応位置となっている。

続いて、得られた対応点の情報から視差の値が算出される。視差とは、左カメラ２ｂの平行化画像の注目画素と右カメラ２ａの平行化画像の対応画素との距離を、水平方向の画素単位で表したものと定義される。つまり、図４の（ｂ）に示すように、視差「ｘｉ−ｘｋ（ｉ,ｋは整数）」にて表される。

次いで、図２に示すように、距離画像生成処理部１４による距離画像生成処理、及び評価値生成部１５による評価値生成処理を行う。

具体的には、得られた視差の値から、三角測量の原理により対象物の３次元座標（Ｘ，Ｙ，Ｚ）を算出する。尚、３次元座標（Ｘ，Ｙ，Ｚ）とは、基準である左カメラ２ｂの撮像面中心から、水平方向の距離Ｘ，垂直方向の距離Ｙ、奥行き方向の距離をＺとする。

例えば、測定対象物までの奥行き方向の距離Ｚを計測する場合、

にて計算することができる。

基準である左カメラ２ｂの平行化画像の各画素に対して距離値Ｚを求め、その画素の画素値とすることによって、距離画像を生成することができる。

尚、評価値付き距離画像生成処理部１６での処理内容については、後述する。

上記の構成を有する撮像装置１Ａにおける処理動作について、図５に基づいて説明する。図５は、本実施の形態の撮像装置１Ａにおける処理動作を示すフローチャートである。

図５に示すように、まず、右カメラ２ａ及び左カメラ２ｂにおいて、第１フォーカス距離にてフォーカスするように右カメラ２ａ及び左カメラ２ｂのレンズ位置をアクチュエータで制御し、被写体を撮像する（Ｓ１）。次いで、得られた画像から３次元計測処理を実行する（Ｓ２）。このとき、各画素について評価値であるＳＡＤが算出されるが、これもその画素固有の値として付与する。すなわち、１つの画素について距離値と評価値とが与えられる。これを第１評価値付き距離画像とする（Ｓ３、Ｓ４）。

同様に、右カメラ２ａ及び左カメラ２ｂにおいて、第２フォーカス距離にてフォーカスするように右カメラ２ａ及び左カメラ２ｂのレンズ位置をアクチュエータにて制御し、被写体を撮像する（Ｓ５）。続いて、得られた画像から３次元計測処理を実行する（Ｓ６）。このときに、各画素について評価値であるＳＡＤが算出されるが、これもその画素固有の値として付与する。すなわち、１つの画素について距離値と評価値とが与えられる。これを第２評価値付き距離画像とする（Ｓ７、Ｓ８）。

次に、得られた第１評価値付き距離画像及び第２評価値付き距離画像から、最終距離画像生成処理部２０における最終距離画像生成処理に移る。ここで、最終距離画像生成処理部２０の構成及び処理について、図６に基づいて説明する。図６は、最終距離画像生成処理部２０の構成を示すブロック図である。

最終距離画像生成処理部２０は、図６に示すように、評価手段としての評価値比較部２２と最終距離画像生成部２３とを備えている。

図６に示す第１評価値付き距離画像１７ａと第２評価値付き距離画像１７ｂとの違いは、フォーカスされる距離が違うだけであり、基本的には同じ被写体が映っている。しかし、フォーカス距離が違うために必ずしも同じ被写体に対して同じ距離値が演算されているとは限らない。第１評価値付き距離画像１７ａは第１フォーカス距離の前後でピントが合っており、ピントが合っている範囲での距離値は対応点探索処理の精度・信頼性が高いと考えられる。逆に、ピントが合っていない部分での距離値は対応点探索処理の精度・信頼性が低いと考えられる。第２評価値付き距離画像１７ｂも同様のことが言える。そこで、評価値比較部２２は、第１評価値付き距離画像１７ａの第１評価値２１ａと第２評価値付き距離画像１７ｂの第２評価値２１ｂとを比較して、より精度・信頼性が高いと考えられる距離値を求め、最終距離画像生成部２３は、そのより精度・信頼性が高いと考えられる距離値を最終距離画像の距離値とする。

次いで、図５に示すように、第１評価値付き距離画像１７ａ及び第２評価値付き距離画像１７ｂのそれぞれで同じ平面座標（ｘｙ座標）に位置する画素の評価値を比較する（Ｓ９）。比較の結果、前述したように、評価値の小さい方が距離値の精度・信頼性が高いと考えられるため、その画素に対しての距離値と決定する（Ｓ１０）。これらの処理を全ての画素に対して実行することによって、最終距離画像を得ることができる（Ｓ１１）。

このようにして得られる最終距離画像は、第１フォーカス距離及び第２フォーカス距離にて撮像された２枚の距離画像から、信頼性及び精度の高い距離情報を選択して生成された距離画像である。このため、例えば第１フォーカス距離のみ、又は第２フォーカス距離のみで得られた距離画像よりも、全体として精度良く計測できている部分が増える。すなわち、計測精度が良く、計測距離範囲が拡大された距離画像といえる。

上述のように故、本実施の形態の撮像装置１Ａは、被写体を撮像する複数の右カメラ３２ａ及び左カメラ３２ｂと、右カメラ３２ａ及び左カメラ３２ｂのフォーカス距離を調整する右アクチュエータ部３ａ及び左アクチュエータ部３ｂと、該フォーカス距離を予め複数設定して記憶しておくメモリ５と、右カメラ２ａ及び左カメラ２ｂにて撮像した複数の画像から、右カメラ２ａ及び左カメラ２ｂから被写体までの距離を演算して距離画像を生成する距離画像生成処理部１４と、該生成された距離画像に評価値を付加する評価値付き距離画像生成処理部１６と、右カメラ２ａ及び左カメラ２ｂにて該予め設定された複数のフォーカス距離で撮像して生成された複数の第１評価値付き距離画像１７ａ・第２評価値付き距離画像１７ｂから、距離値及び評価値に基づいて最終的な距離画像を生成する最終距離画像生成処理部２０を備えている。そして、該評価値は該距離画像を生成する距離画像生成処理部１４での演算処理の際に算出される量を用いて該距離画像の画素毎に付加されている。そして、最終距離画像生成処理部２０においては、複数の第１評価値付き距離画像１７ａ・第２評価値付き距離画像１７ｂの画素毎について距離値及び評価値に基づいて最終的な距離画像を生成する。

また、予め複数設定して記憶される複数のフォーカス距離は、互いにその距離における被写界深度の近点距離と遠点距離からなる距離範囲において部分的に共通の距離範囲を有するように設定される。

これにより、必要な距離範囲にフォーカスが合った複数画像から、精度の良い最終的な距離画像が得られる。また、処理画演算量が少ない簡単な処理構成でかつ高速な処理が可能になる。

さらに、評価値として、撮像した複数の画像から距離を演算する際に実行する対応点探索処理の結果得られる相関値を用いる。これにより、３次元処理中に得られる量を評価値とするので、評価値生成に別途の処理を必要とせず、システムの簡易化及び処理の高速化が実現できると共に、信頼性の高い画像情報から距離情報が得られる。

以上のように、本実施の形態の撮像装置１Ａでは、被写体を複数の異なる視点から撮影して画像を生成する撮像手段としてのステレオカメラユニット２と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定手段としての３次元計測処理部１０と、対応画像領域毎に対応画像領域の判定精度を評価する評価手段としての評価値比較部２２と、対応画像領域毎に視差に基づいてステレオカメラユニット２から被写体までの距離を判定し、距離画像を生成する距離画像生成手段としての評価値付き距離画像生成処理部１６とを備える。さらに、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と判定精度とに基づいて最終距離画像を生成する最終距離画像生成手段としての最終距離画像生成処理部２０を備えている。尚、本実施の形態では、評価手段としての評価値比較部２２は、最終距離画像生成処理部２０にのみ設けられており、３次元計測処理部１０には設けられていない。すなわち、評価値の判断は、フォーカス距離毎に実行し、フォーカス距離毎の対応箇所を判断するときと、最終距離画像を生成するときとの２回実行するのが原則である。しかし、本実施の形態のように、最終距離画像を生成する時点でのみ実行することが可能である。

一般的に、撮像装置はフォーカスが合う距離範囲（被写界深度）に制限があり、例えば近くの物体にフォーカスを合わせると、遠くの物体にフォーカスが合わずにボケが発生してしまうといった問題がある。

ここで、本実施の形態の撮像装置１Ａは、ステレオカメラユニット２による距離測定を採用するものであり、３次元計測処理部１０は、右カメラ３２ａ及び左カメラ３２ｂにて取得した複数の画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する。このとき、評価手段にて対応画像領域毎に対応画像領域の判定精度を評価する。そして、評価値付き距離画像生成処理部１６にて、対応画像領域毎に視差に基づいてステレオカメラユニット２から被写体までの距離を判定し、距離画像を生成する。

このように、ステレオカメラユニット２による距離測定は、異なるなる視点から撮影した撮像画像において同一箇所を撮像した対応画像領域を判定し、対応画像領域の視差に基づいて距離測定を行う。

しかしながら、この処理だけでは、右カメラ３２ａ及び左カメラ３２ｂにて取得した複数の画像のフォーカスが合っていないボケを有する画像を用いて、距離画像を生成する虞がある。また、その場合には、対応箇所の判定が正確にできずに、結果として距離精度が低下してしまう問題がある。

そこで、本実施の形態では、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と判定精度とに基づいて最終距離画像を生成する最終距離画像生成処理部２０を備えている。

このため、右カメラ３２ａ及び左カメラ３２ｂを用いて複数種類のフォーカス距離によって被写体を撮影して、フォーカス距離毎に距離画像が生成される。そして、各距離画像の生成においては、判定精度が付された対応画像領域が求まっている。この結果、全ての距離画像の判定精度を評価し、対応画像領域の判定精度が最も高い距離画像を選択して合成することにより、距離精度が高い最終距離画像を生成することができる。

そして、この最終距離画像の生成方法では、近くの物体であっても又は遠くの物体であっても、右カメラ３２ａ及び左カメラ３２ｂを用いて複数種類のフォーカス距離それぞれで被写体を撮影する。この結果、全てのフォーカス位置に対応できるので、計測距離範囲の広い撮像装置１Ａを実現することができる。

したがって、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像装置１Ａを提供することができる。

また、本実施の形態における撮像装置１Ａでは、最終距離画像生成処理部２０は、複数の距離画像の間で、画像領域毎に判定精度が最も高い距離画像を選択して合成することにより最終距離画像として生成する。

これにより、複数種類のフォーカス距離それぞれで生成した各距離画像の中から、判定精度が最も高いものを最終距離画像として生成するので、信頼性の高い距離情報を得ることができる。

また、本実施の形態における撮像装置１Ａでは、対応画像領域判定手段としての３次元計測処理部１０は、１画像における被写体の注目画像領域と他画像における複数の画像領域との類似の度合いをそれぞれ評価し、他画像における類似度が最も高い画像領域を注目画像領域の対応画像領域と判定する。

これにより、対応画像領域の決定方法として、対応画像領域に付された判定精度を評価する場合に、判定精度として、注目画像領域と対応画像領域の領域との類似の度合によって評価する。この結果、注目画像領域と対応画像領域との類似の度合が最も高い領域を他画像における対応画像領域であると判断することにより、容易かつ的確に対応画像領域を認定することができる。尚、本実施の形態では、判定精度として類似の度合いである相関度を用いているが、本発明においては必ずしもこれに限らず、判定精度として例えばシャープさ等を用いることができる。

また、本実施の形態における撮像装置１Ａでは、評価手段としての評価値比較部２２は、対応画像領域の間の類似の度合いを評価する際に、該類似の度合を対応画像領域の判定精度とする。

これにより、対応画像領域の探索の方法の具体的方法を提供することができる。

尚、本実施の形態では、類似度が最も高い対応画像領域を判定した上で、この類似度が最も高い対応画像領域の類似度を、最終距離画像を生成する場合に再度活用する。すなわち、対応画像領域を求めるために用いた判定精度である類似度を、そのまま、最終距離画像を生成する場合に用いている。この点で、撮像装置１Ａの処理の煩雑化を防止できるものとなっている。

また、本実施の形態における撮像装置１Ａでは、評価手段としての評価値比較部２２は、対応画像領域の間の類似の度合いを評価し、該類似の度合を対応画像領域の判定精度とする。

これにより、対応画像領域の探索の方法の具体的方法を提供することができる。

また、本実施の形態における撮像装置１Ａでは、類似の度合いを評価するときに、差分絶対値和を用いる。これにより、類似度として差分絶対値和（ＳＡＤ値）という数値に表すことができ、容易に類似度の高いものを判定することができる。

また、本実施の形態における撮像装置１Ａでは、ステレオカメラユニット２は、被写体を複数の異なる視点から撮影する複数の右カメラ２ａ及び左カメラ２ｂと、複数の右カメラ２ａ及び左カメラ２ｂの焦点位置を複数種類のフォーカス距離に変化させるフォーカス位置調整手段としての右アクチュエータ部３ａ及び左アクチュエータ部３ｂとを備えている。

これにより、ステレオカメラユニット２にて、複数種類のフォーカス距離に変化させながら、各フォーカス距離にて距離画像を生成することができる。

この場合、例えば、一組の撮像カメラを用いて、それぞれフォーカス位置を変えることにより撮像することが考えられる。また、例えば、フォーカス位置毎に対応した撮像カメラの組みを備え、それぞれのフォーカス位置の画像を対応する撮像カメラの組みが撮像するということが考えられる。

また、本実施の形態における撮像方法は、被写体を複数の異なる視点から撮影して画像を生成する撮像工程（Ｓ１，Ｓ５）と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定工程（Ｓ９）と、対応画像領域毎に対応画像領域の判定精度を評価する評価工程（Ｓ１０）と、対応画像領域毎に視差に基づいてステレオカメラユニット２から被写体までの距離を判定し、距離画像を生成する距離画像生成工程（Ｓ２〜Ｓ４、Ｓ６〜Ｓ８） とを含む。そして、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と判定精度とに基づいて最終距離画像を生成する最終距離画像生成工程（Ｓ９〜Ｓ１１）をさらに含む。

これにより、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像方法を提供することができる。

〔実施の形態２〕
本発明の他の実施の形態について図７及び図８に基づいて説明すれば、以下のとおりである。尚、本実施の形態において説明すること以外の構成は、前記実施の形態１と同じである。また、説明の便宜上、前記の実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

前記実施の形態１の撮像装置１Ａでは、第１フォーカス距離と第２フォーカス距離との２種類のフォーカス距離で撮影を行うものとしたが、これは２種類に限る必要はない。

例えば３種類のフォーカス距離を設定した場合、評価値付き距離画像が第１評価値付き距離画像、第２評価値付き距離画像及び第３評価値付き距離画像との３種類生成されることになる。この場合、最終距離画像生成時に、３種類の評価値付き距離画像のそれぞれで同じ平面座標（ｘｙ座標）に位置する画素の評価値を比較して、最も評価値の小さい距離値の精度・信頼性が高いと考えられる。このため、その画素に対しての距離値と決定すればよい。この処理を全ての画素に対して実行することによって、最終距離画像を得ることができる。

また、本実施の形態では、フォーカス距離については、例えば次に記すような方法で設定されるのが望ましい。本実施の形態のフォーカス距離の設定方法について、図７及び図８に基づいて説明する。図７は、本実施の形態のフォーカス距離の設定方法を示す説明図である。図８は、本実施の形態のフォーカス距離の設定方法を示すものであって、被写体距離ｓ１に対する近点Ｓｎ１及び遠点Ｓｆ１を求める方法を示す説明図である。

例えば、被写体距離（ピントを合わせる距離）をｓとし、レンズ焦点距離をｆとし、Ｆ値をＦとし、許容錯乱円直径をδとする。この場合、図７に示すように、被写体距離ｓに対して、許容錯乱円の範囲でピントの合う距離範囲は、近点と遠点との間である。ただし、近点とは距離ｓから近点距離：Ｄｎだけカメラ寄りの位置、遠点とは距離ｓから遠点距離：Ｄｆだけカメラから遠い位置とする。

このとき、近点距離：Ｄｎ、遠点距離：Ｄｆは以下で示される。

この場合、第１フォーカス距離を被写体距離ｓ１とすると、図８に示すように、被写体距離ｓ１に対する近点Ｓｎ１及び遠点Ｓｆ１が求まる。同様に、第２フォーカス距離を被写体距離ｓ２とすると、被写体距離ｓ２に対する近点Ｓｎ２及び遠点Ｓｆ２が求まる。

ここで、Ｓｆ１＞Ｓｎ２となるように第１フォーカス距離及び第２フォーカス距離を設定して、第１フォーカス距離での第１撮像画像と、第２フォーカス距離での第２撮像画像を得た場合、近点Ｓｎ１と遠点Ｓｆ２の間に存在する被写体は第１撮像画像か又は第２撮像画像のどちらかでピントが合っていることになる。ここでいうピントが合っているという意味は、許容錯乱円以下のぼけ量に留まっているということであり、許容錯乱円として撮像素子の１画素の大きさと設定すれば、１画素以下のぼけということになる。

対応点探索処理は画素単位で実行するため、ピントが合っている部分では高い相関性を示すのでＳＡＤ値は非常に小さくなり、それで得た視差を元に得られた距離情報はピントが合っていない部分よりも精度が高いと言える。

Ｓｆ１＞Ｓｎ２となるように設定した第１フォーカス距離及び第２フォーカス距離を用いて、実施の形態１にて説明した距離計測方法を用いると、得られた第１評価値付き距離画像及び第２評価値付き距離画像において、よりピントの合った画素の方が小さな評価値が付与されている。理由は既に記したように、対応点探索処理でのＳＡＤ値が小さくなるからである。その結果、最終距離画像で得られる精度の良い距離範囲は、Ｓｎ１とＳｆ２の間ということになる。

第１フォーカス距離だけで得られる精度の良い距離範囲はＳｎ１とＳｆ１の間でしかないが、この方法によれば、精度の良い距離範囲が拡大される。すなわち、精度良く測距できる距離範囲が拡大できることになる。

この場合、図８に示すように、Ｏであるオーバーラップ部分については、第１フォーカス距離及び第２フォーカス距離で撮影した何れでもピントが合っている。このときには、どちらの評価値もピントが合っていない部分よりは小さな値となっていると思われ、どちらの値をとっても構わない。また、オーバーラップ部分はできるだけ範囲を小さくするように第１フォーカス距離及び第２フォーカス距離を設定するのが望ましく、その方が測距範囲を広げることができる。

〔実施の形態３〕
本発明のさらに他の実施の形態について図９及び図１０に基づいて説明すれば、以下のとおりである。尚、本実施の形態において説明すること以外の構成は、前記実施の形態１及び実施の形態２と同じである。また、説明の便宜上、前記の実施の形態１及び実施の形態２の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

前記実施の形態１の撮像装置１Ａでは、ステレオカメラユニット２は、１組しかなかった。これに対して、本実施の形態の撮像装置１Ｂでは、ステレオカメラユニットが２組設けられている点が異なっている。

本実施の形態の撮像装置１Ｂの構成について、図９に基づいて説明する。図９は本実施の形態の撮像装置１Ｂの構成を示すブロック図である。

前記実施の形態１の撮像装置１Ａでは、第１フォーカス距離及び第２フォーカス距離で撮影された画像は同時刻に撮影されたものではない。この理由は、ステレオカメラユニット２が１組しかないため、フォーカス距離を変更するのに有限の時間を要するからである。このため、ステレオカメラユニット２が１組しかない場合には、動く被写体については正確には対応できない。

そこで、本実施の形態の撮像装置１Ｂでは、図９に示すように、第１フォーカス距離撮像用の第１ステレオカメラユニット３２と、第２フォーカス距離撮像用の第２ステレオカメラユニット４２を用意して、同時刻に撮像できるようになっている。そして、これにより、動く被写体にも対応可能となっている。

具体的には、図９に示すように、第１ステレオカメラユニット３２は、右カメラ３２ａ及び左カメラ３２ｂから構成される。また、これら右カメラ３２ａ及び左カメラ３２ｂのレンズフォーカス位置を可変するアクチュエータ及びドライバである右アクチュエータ部３３ａ及び左アクチュエータ部３３ｂが設けられている。

一方、第２ステレオカメラユニット４２は、右カメラ４２ａ及び左カメラ４２ｂから構成される。また、これら右カメラ４２ａ及び左カメラ４２ｂのレンズフォーカス位置を可変するアクチュエータ及びドライバである右アクチュエータ部４３ａ及び左アクチュエータ部４３ｂが設けられている。

そして、撮像処理においては、図１０に示すように、それぞれの第１ステレオカメラユニット３２及び第２ステレオカメラユニット４２から得られた画像から（Ｓ２１、Ｓ２２）、前述した３次元計測処理を実行してそれぞれ評価値付き距離画像を生成すれば、最終距離画像を得ることができる。

このようにして、動く被写体に対しても精度良く計測距離範囲を拡大することができる。

上述のように、撮像装置１Ｂは、被写体を撮像する複数の第１ステレオカメラユニット３２及び第２ステレオカメラユニット４２からなる撮像ユニットを複数備え、撮像ユニット毎に異なったフォーカス距離で撮像する。そして、該複数の撮像ユニットにて撮像した画像から生成された複数の評価値付き距離画像から、各評価値付き距離画像の対応する各画素の距離値及び評価値に基づいて最終的な距離画像を生成する最終距離画像生成処理部２０を備える。

これにより、複数のフォーカスの合った画像を同時刻に取得できるため、移動体に対しても精度の良い、かつ計測距離範囲の広い距離情報を得ることができる。

以上のように、本実施の形態における撮像装置１Ｂでは、撮像手段は、第１のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラとしての右カメラ３２ａ及び左カメラ３２ｂからなる第１の撮像カメラ群としての第１ステレオカメラユニット３２と、第２のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラとしての右カメラ４２ａ及び左カメラ４２ｂからなる第２の撮像カメラ群としての第２ステレオカメラユニット４２とを備え、第１ステレオカメラユニット３２及び第２ステレオカメラユニット４２は、それぞれ複数種類のフォーカス距離にて、被写体を複数の異なる視点から撮影した複数の画像を生成する。

これにより、フォーカス位置毎に対応した撮像カメラの組みを備え、それぞれのフォーカス位置の画像を対応する撮像カメラの組みが撮像することができる。

また、本実施の形態の撮像手段においては、第１ステレオカメラユニット３２と第２ステレオカメラユニット４２とを同時に撮影することにより、被写体が移動体にてなっている場合においても、瞬時に、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる。

〔まとめ〕
本発明の態様１における撮像装置１Ａ・１Ｂは、被写体を複数の異なる視点から撮影して画像を生成する撮像手段（ステレオカメラユニット２）と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定手段（３次元計測処理部１０）と、上記対応画像領域毎に対応画像領域の判定精度を評価する評価手段（評価値比較部２２）と、上記対応画像領域毎に視差に基づいて撮像手段（ステレオカメラユニット２）から被写体までの距離を判定し、距離画像を生成する距離画像生成手段（評価値付き距離画像生成処理部１６）とを備えた撮像装置であって、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成手段（最終距離画像生成処理部２０）をさらに備えていることを特徴としている。

本発明では、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と判定精度とに基づいて最終距離画像を生成する最終距離画像生成手段を備えている。

このため、撮像手段を用いて複数種類のフォーカス距離によって被写体を撮影して、フォーカス距離毎に距離画像が生成される。そして、各距離画像の生成においては、判定精度が付された対応画像領域が求まっている。この結果、全ての距離画像の判定精度を評価し、対応画像領域の判定精度が最も高い距離画像を選択して合成することにより、距離精度が高い最終距離画像を生成することができる。

そして、この最終距離画像の生成方法では、近くの物体であっても又は遠くの物体であっても、撮像手段を用いて複数種類のフォーカス距離それぞれで被写体を撮影する。この結果、全てのフォーカス位置に対応できるので、計測距離範囲の広い撮像装置を実現することができる。

したがって、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像装置を提供することができる。

本発明の態様２における撮像装置１Ａは、態様１における撮像装置において、前記最終距離画像生成手段（最終距離画像生成処理部２０）は、前記複数の距離画像の間で、対応画像領域毎に判定精度が最も高い距離画像を選択して合成することにより最終距離画像として生成する。

これにより、複数種類のフォーカス距離それぞれで生成した各距離画像の中から、判定精度が最も高いものを最終距離画像として生成するので、信頼性の高い距離情報を得ることができる。

本発明の態様３における撮像装置１Ａは、態様１又は２における撮像装置において、前記対応画像領域判定手段（３次元計測処理部１０）は、１画像における被写体の注目画像領域と他画像における複数の画像領域との類似の度合いをそれぞれ評価し、他画像における類似度が最も高い画像領域を注目画像領域の対応画像領域と判定する。尚、１画像における被写体の注目画像領域とは、１つの注目画素でもよく、或いは複数の注目画素からなる注目画像領域でもよい概念である。

これにより、対応画像領域の決定方法として、対応画像領域に付された判定精度を評価する場合に、判定精度として、注目画像領域と対応画像領域との類似の度合によって評価する。この結果、注目画像領域と対応画像領域との類似の度合が最も高い領域を他画像における対応画像領域であると判断することにより、容易かつ的確に対応画像領域を認定することができる。

尚、本実施の形態では、類似度が最も高い対応画像領域を判定した上で、この類似度が最も高い対応画像領域の類似度を、最終距離画像を生成する場合に再度活用する。すなわち、対応画像領域を求めるために用いた判定精度である類似度を、そのまま、最終距離画像を生成する場合に用いている。この点で、撮像装置の処理の煩雑化を防止できるものとなっている。

本発明の態様４における撮像装置１Ａは、態様１、２又は３における撮像装置において、前記評価手段（評価値比較部２２）は、前記対応画像領域の間の類似の度合いを評価する際に、該類似の度合を対応画像領域の判定精度とする。

これにより、対応画像領域の探索の方法の具体的方法を提供することができる。

本発明の態様５における撮像装置１Ａは、態様３における撮像装置において、前記類似の度合いを評価するときに、差分絶対値和を用いることが好ましい。

これにより、類似度として差分絶対値和（ＳＡＤ値）という数値に表すことができ、容易に類似度の高いものを判定することができる。

本発明の態様６における撮像装置１Ａは、態様１〜５のいずれか１における撮像装置において、前記撮像手段（ステレオカメラユニット２）は、前記被写体を複数の異なる視点から撮影する複数の撮像カメラ（右カメラ２ａ及び左カメラ２ｂ）と、上記複数の撮像カメラ（右カメラ２ａ及び左カメラ２ｂ）の焦点位置を複数種類のフォーカス距離に変化させるフォーカス位置調整手段（右アクチュエータ部３ａ及び左アクチュエータ部３ｂ）とを備えていることが好ましい。

これにより、ステレオカメラにて、複数種類のフォーカス距離に変化させながら、各フォーカス距離にて距離画像を生成することができる。

本発明の態様７における撮像装置１Ｂは、態様１〜５のいずれか１における撮像装置において、前記撮像手段は、第１のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラ（右カメラ３２ａ及び左カメラ３２ｂ）からなる第１の撮像カメラ群（第１ステレオカメラユニット３２）と、第２のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラ（右カメラ４２ａ及び左カメラ４２ｂ）からなる第２の撮像カメラ群（第２ステレオカメラユニット４２）とを備え、上記第１の撮像カメラ群（第１ステレオカメラユニット３２）及び第２の撮像カメラ群（第２ステレオカメラユニット４２）は、それぞれ複数種類のフォーカス距離にて、被写体を複数の異なる視点から撮影した複数の画像を生成することが好ましい。

これにより、フォーカス位置毎に対応した撮像カメラの組みを備え、それぞれのフォーカス位置の画像を対応する撮像カメラの組みが撮像することができる。

また、本発明の撮像手段において、第１の撮像カメラ群と第２の撮像カメラ群とを同時に撮影することにより、被写体が移動体にてなっている場合においても、瞬時に、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる。

本発明の態様８における撮像方法は、被写体を複数の異なる視点から撮影して画像を生成する撮像工程（Ｓ１，Ｓ５）と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定工程（Ｓ９）と、上記対応画像領域毎に対応画像領域の判定精度を評価する評価工程（Ｓ１０）と、上記対応画像領域毎に視差に基づいて撮像手段（ステレオカメラユニット２）から被写体までの距離を判定し、距離画像を生成する距離画像生成工程（Ｓ２〜Ｓ４、Ｓ６〜Ｓ８） とを含む撮像方法であって、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成工程（Ｓ９〜Ｓ１１）をさらに含むことを特徴としている。

これにより、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像方法を提供することができる。

尚、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、ステレオカメラを用いた撮像装置及び撮像方法に利用することができる。

１Ａ 撮像装置
１Ｂ 撮像装置
２ ステレオカメラユニット（撮像手段）
２ａ 右カメラ（撮像カメラ）
２ｂ 左カメラ（撮像カメラ）
３ａ 右アクチュエータ部（フォーカス位置調整手段）
３ｂ 左アクチュエータ部（フォーカス位置調整手段）
４ プロセッサ
５ メモリ
１０ ３次元計測処理部（対応画像領域判定手段）
１１ 平行化処理部
１２ プレフィルタ処理部
１３ 対応点探索処理部
１４ 距離画像生成処理部
１５ 評価値生成部
１６ 評価値付き距離画像生成処理部
１７ａ 第１評価値付き距離画像（距離画像）
１７ｂ 第２評価値付き距離画像（距離画像）
１８ キャリブレーションデータ
２１ａ 第１評価値
２１ｂ 第２評価値
２０ 最終距離画像生成処理部（最終距離画像生成手段）
２２ 評価値比較部（評価手段）
２３ 最終距離画像生成部
３２ 第１ステレオカメラユニット（第１の撮像カメラ群）
３２ａ 右カメラ（撮像カメラ）
３２ｂ 左カメラ（撮像カメラ）
３３ａ 右アクチュエータ部（フォーカス位置調整手段）
３３ｂ 左アクチュエータ部（フォーカス位置調整手段）
４２ 第２ステレオカメラユニット（第２の撮像カメラ群）
４２ａ 右カメラ（撮像カメラ）
４２ｂ 左カメラ（撮像カメラ）
４３ａ 右アクチュエータ部（フォーカス位置調整手段）
４３ｂ 左アクチュエータ部（フォーカス位置調整手段）

Claims (8)

1. 被写体を複数の異なる視点から撮影して画像を生成する撮像手段と、
   各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定手段と、
   上記対応画像領域毎に対応画像領域の判定精度を評価する評価手段と、
   上記対応画像領域毎に視差に基づいて撮像手段から被写体までの距離を判定し、距離画像を生成する距離画像生成手段とを備えた撮像装置であって、
   複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成手段をさらに備えていることを特徴とする撮像装置。
2. 前記最終距離画像生成手段は、前記複数の距離画像の間で、対応画像領域毎に判定精度が最も高い距離画像を選択して合成することにより最終距離画像として生成することを特徴とする請求項１記載の撮像装置。
3. 前記対応画像領域判定手段は、１画像における被写体の注目画像領域と他画像における複数の画像領域との類似の度合いをそれぞれ評価し、他画像における類似度が最も高い画像領域を注目画像領域の対応画像領域と判定することを特徴とする請求項１又は２記載の撮像装置。
4. 前記評価手段は、前記対応画像領域の間の類似の度合いを評価する際に、該類似の度合を対応画像領域の判定精度とすることを特徴とする請求項１、２又は３記載の撮像装置。
5. 前記類似の度合いを評価するときに、差分絶対値和を用いることを特徴とする請求項３又は４記載の撮像装置。
6. 前記撮像手段は、前記被写体を複数の異なる視点から撮影する複数の撮像カメラと、上記複数の撮像カメラの焦点位置を複数種類のフォーカス距離に変化させるフォーカス位置調整手段とを備えていることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記撮像手段は、第１のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラからなる第１の撮像カメラ群と、第２のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラからなる第２の撮像カメラ群とを備え、
   上記第１の撮像カメラ群及び第２の撮像カメラ群は、それぞれ複数種類のフォーカス距離にて、被写体を複数の異なる視点から撮影した複数の画像を生成することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
8. 被写体を複数の異なる視点から撮影して画像を生成する撮像工程と、
   各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定工程と、
   上記対応画像領域毎に対応画像領域の判定精度を評価する評価工程と、
   上記対応画像領域毎に視差に基づいて撮像手段から被写体までの距離を判定し、距離画像を生成する距離画像生成工程とを含む撮像方法であって、
   複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成工程をさらに含むことを特徴とする撮像方法。

Images