JP2009239908A - マルチフレーム再構築を行う方法、システム及びソフトウエア - Google Patents

Abstract

【課題】捕捉画像を再構築画像に合成することに加えて、どの画像が捕捉されるべきかを動的に選択するマルチフレーム再構築法を提供すること。
【解決手段】マルチフレーム再構築法は、一群の捕捉画像を再構築画像に合成する。どの画像を捕捉するかは、過去に捕捉した画像の内容に少なくとも部分的に基づいて選択される。或る方法の場合、対象の少なくとも３つの画像の組が、異なる捕捉設定条件で捕捉される。その組の中の少なくとも１つの画像に関し、過去に捕捉された少なくとも１つの画像の内容に少なくとも部分的に基づいて、画像を捕捉する設定が決定される。マルチフレーム再構築法が捕捉画像群に適用され、対象の再構築画像を合成する。
【選択図】図１

Description

本発明は一般にマルチフレーム画像の再構築法に関連し、特にマルチフレームの再構築に使用する画像フレームの適応的な捕捉に関連する。

現実世界の場面(scene)は、非常に広範囲に及ぶ焦点深度、輝度及び色を含むので、広範囲に及ぶ場面を高品質に画像処理するカメラを設計することは容易でない。画像処理システムの多様性を増やすため、ほとんどのカメラは焦点、露出及び絞り等のような光学的設定を調整可能にしている。そのようなシステムの多くは、対象場面に依存してそれらの設定をカメラが自動調整する形式をとっており、自動調整は例えば自動焦点(AF)、自動利得(AG)及び自動露出(AE)アルゴリズム等により行われる。これらの自動アルゴリズムは典型的には画像データを使って調整を行う。カメラは、ある画像について最適な設定を見出すまで、様々な捕捉の設定条件の下で複数の画像を捕捉する。焦点及び絞りの設定を調整する際、しばしばこの調整プロセスはかなりの電力を消費してしまう。従って、カメラの設定を自動的に効率的に調整するアルゴリズムを見出すことは、ユーザのパフォーマンスを改善するだけでなく、電力消費を節約する観点からも重要になる。

ある１つの画像を捕捉するのに最適な設定を見出すため、従来の設定調整アルゴリズムは複数の検査を当てにしている。マルチフレーム再構築アルゴリズムと呼ばれる代替的な画像処理アルゴリズムは、複数の画像の組を組み合わせ、高品質の１つの画像を合成する。そのようなマルチフレームアルゴリズムは、ある画像群に処理を施し、その画像各々は場面に関する異なる情報を含んでいる。再構築アルゴリズムは、典型的には画像変化(ずれ、焦点ずれ、露出レベル等)の原因に関する情報に基づいて、それら複数の情報源を組み合わせ、１つの再構築された画像を形成する。一般的には、捕捉の所定の設定を使って、画像群が捕捉される。言い換えれば、その捕捉の設定は、画像の内容に依存していない。マルチフレーム再構築の従来の問題は、既に捕捉された画像群の元で、その利用可能な画像群から最良の再構築画像を合成しようとすることである。

しかしながら、捕捉される画像の選択は、最終的に再構築される画像の品質にかなりの影響を及ぼし得る。マルチフレーム再構築法は、様々な画像からの様々な情報を１つの再構築画像に合成する。しかしながら、何らかの情報を画像群中のどの画像も含んでいなかった場合、その情報は再構築画像で表現され得ない。より一般的には、特定の場面の画像を構築する際、ある視覚的な情報が他の情報よりも重要になる。従って、捕捉画像を再構築画像に合成することに加えて、どの画像が捕捉されるべきかを動的に選択するマルチフレーム再構築法が望まれている。

過去に捕捉した画像の内容に少なくとも部分的に基づいて、捕捉する画像を自動的に選択することで、本発明は、マルチフレーム画像処理の従来技術の問題点を克服する。対象の少なくとも３つの画像の組が、異なる捕捉設定条件で捕捉される。その組の中の少なくとも１つの画像に関し、過去に捕捉された１つ以上の画像の内容に少なくとも部分的に基づいて、画像を捕捉する設定が決定される。１つの方法では、K+1番目の画像の捕捉パラメータは、既に捕捉済みのK個の画像の情報に基づいて(最適に)調整され、この場合、「最適に(optimally)」は、K+1個のマルチフレーム再構築画像の最終的な画像品質を指す。マルチフレーム再構築法が捕捉された画像群に適用され、対象の再構築画像を合成する。

通常の実施形態の場合、画像捕捉は、少なくとも２つの初期画像を或る捕捉設定の下で捕捉することから始まり、その捕捉設定は、過去に捕捉した画像の内容に依存しないものである。初期画像後に捕捉される全ての画像に関し、画像を捕捉する設定は、既に捕捉されている画像の内容に少なくとも部分的に基づいて決定される。後の画像の捕捉設定は、多数の様々な方法で決定可能である。例えば、何らかの追加的な画像が以後捕捉される予定であるか否かによらず、決定されてもよい。代替例では、少なくとも１つの追加的な画像が以後捕捉されることを仮定しながら決定されてもよい。別の代替例では、合計Ｋ個の画像が捕捉されることを仮定しながら決定されてもよい。

別の形態の場合、捕捉の設定は、過去に捕捉された画像の下で、マルチフレーム再構築のパフォーマンスを向上させることに基づいてもよい。或る方法は最尤推定評価法に基づいてパフォーマンスを図り、例えばクラマーラオ(Cramer-Rao)性能限界を用いることを含む。捕捉の設定は、過去に捕捉済みの画像から既に得られている情報に比べて、画像により捕捉された情報を増やすことに基づいてもよい。

更に別の形態では、捕捉の設定は、直前に捕捉した画像に対して、捕捉設定の変化を小さくすることに基づいてもよい(これにより、例えばエネルギを節約し及び／又は捕捉する時点の間の時間を短縮する。)。コスト又はメリット関数は、捕捉設定を変えることに関する電力、エネルギ又は時間の制約を含んでもよい。例えば、カメラのバッテリ電力が重要関心事である場合、メリット関数は、大きな電力消費を要するレンズの大幅な動きに対してペナルティを課してもよい。

捕捉設定の一部を決定するパラメータ例は、絞り、焦点、露出、空間的なずれ、及びズーム等を含む。

本発明による他の形態は、システム、装置、コンポーネント及びアプリケーション等の上記の方法に対応するものである。

原出願書類は少なくとも１つのカラー図面を含んでいる。

本発明は他の利点や特徴を含んでおり、それらは、添付図面と共に詳細な説明及び特許請求の範囲から更に明確になるであろう。

マルチフレーム再構築における適応画像捕捉の様子を示す図。 様々な捕捉画像群について逆深度ζの関数として漸近RMSE特性を示すグラフ。 初期の２画像の様々な組について推定深度の関数として、捕捉設定を合わせる様子を示すグラフ。 初期の２画像の様々な組について推定深度の関数として、捕捉設定を合わせる様子を示すグラフ。 初期の２画像の様々な組について推定深度の関数として、捕捉設定を合わせる様子を示すグラフ。 初期の２画像の様々な組について推定深度の関数として、捕捉設定を合わせる様子を示すグラフ。 初期の２画像の様々な組について推定深度の関数として、捕捉設定を合わせる別の例の様子を示すグラフ。 初期の２画像の様々な組について推定深度の関数として、捕捉設定を合わせる別の例の様子を示すグラフ。 初期の２画像の様々な組について推定深度の関数として、捕捉設定を合わせる別の例の様子を示すグラフ。 初期の２画像の様々な組について推定深度の関数として、捕捉設定を合わせる別の例の様子を示すグラフ。 対象場面が一定の深度のタイルに分割されているが、各タイルは異なる深度を有する例を示す図。 フィルタバンクを用いて深度推定を行う様子を示す図。 フィルタバンクに基づく深度推定を使用する適応マルチフレーム再構築法を示すフローチャート。 マルチフレーム再構築用画像の適応的な捕捉及びマルチフレーム再構築の様子を示す図。 マルチフレーム再構築用画像の適応的な捕捉及びマルチフレーム再構築の様子を更に示す図。 画像数の関数としてRMSEのグラフを示す図。

図面は本発明の実施例を説明する目的のためだけに描かれている。本願で説明される本発明の精神から逸脱せずに、説明された構造及び方法の代替例が使用されてよいことを、当業者は以下の議論から認識するであろう。

概要
I．概要
II．マルチフレーム再構築
III．適応画像捕捉
III.A．MSE推定
III.B．RMSEに基づく捕捉設定の決定
III.C．RMSE及びエネルギ制約に基づく捕捉設定の決定
III.D．深度を伴う対象
IV．シミュレーション結果
V．別の実施例

I．概要
図１は、マルチフレーム再構築に備えて適応画像捕捉を行う一例を示す。カメラ(又は、他の画像捕捉装置)110は、画像群120(画像１，画像２等)を取得する。この画像群120は、通常のマルチフレーム再構築法(この例の場合、モジュール150で実行される)により、再構築された画像130を合成するのに使用される。通常のマルチフレーム再構築法の場合、画像120は、捕捉するための所定の設定の組を用いて取得される。例えば、焦点は所定の様々な位置にシフトされ、様々な焦点の画像群120を捕捉する。

しかしながら、図１の場合は異なる。図１の場合、画像の捕捉は適応的である。どの画像が次に捕捉されるかは、以前に捕捉された画像から算出された関数に依存する。例えば、カメラ110は画像１及び画像２を２つの異なる焦点で捕捉する。これらの画像処理の出力に基づいて、適応捕捉モジュール170は画像３に対する捕捉の設定(例えば、焦点)を決定する。画像３が捕捉された後、モジュール170は画像４に対する捕捉の設定を決定し、以下同様である。このようにして、適応的に捕捉される画像群120は、予め決まった捕捉設定に基づく画像群よりも優れた再構築画像130をもたらすはずである。

情報の観点からは、画像群120が、全体として、場面に関して多くの視覚的情報を含むように、適応捕捉モジュール170は画像を選択することが好ましい。従って、次にどの画像が画像群に最も新たな情報を加えるかは、過去に捕捉した画像によって如何なる情報が既に収集されているかに部分的に依存し、且つ過去に捕捉された画像の分析に基づいて如何なる画像が欠落又は貧弱に表現されていると考えられるかに部分的に依存する。従って個々の画像各々自身が貧弱な品質であっても、集合全体として、画像群はその場面について相当な情報量を含んでいることが好ましい。これは、適応マルチフレーム技法を自動露出や自動焦点のような通常のシングルフレーム技法と差別化し、シングルフレーム技法は１つの捕捉画像について最良の設定を見出す。

以下のセクションは、クラーメルラオ不等式下限及び最尤推定の漸近特性に基づいて、具体的な適応方法のいくつかの基本原理を説明する。焦点及び絞りの設定の動的な最適化に基づいて、いくつかの例が提示される。

II．マルチフレーム再構築
マルチフレーム再構築は、通常、捕捉の設定パラメータの関数として画像処理システムをモデル化することに基づく。本セクションは、基本原理を説明するのに選択された或る特定のモデルを説明する。しかしながら本発明はこの特定のモデルには限定されない。他のモデル及び前提が使用されてもよい。

例えば、捕捉画像は次の線形モデルを使ってモデル化される。
y_k＝H(φ_k)s＋n(φ_k) (1)
ここで、y_kはｋ番目に捕捉された画像であり、Hはサンプル点広がり関数(sampled optical point spread function)であり、sは未知の理想的なサンプル画像であり、nは画像処理システムに固有のノイズである。ベクトルφ_kはｋ番目のフレームの捕捉設定を表す。全てのフレームに関する補足設定の集合は、Φと言及される。簡明化のため、以下の例では２つの捕捉設定パラメータ(絞り直径Ａ及び後方焦点距離ｄ)を、如何にして露出時間Ｔを更に含めるように拡張されてよいかについての説明と共に、説明する。しかしながら、本適応方法はこれらのパラメータに限定されない。他の捕捉設定パラメータの具体例は、視野、カメラの角度(即ち、カメラが何処に設けられているか)、倍率、波長、偏光、様々な証明態様(輝度や空間変動を含む)等を含む。

理想的な画像sは、回折の影響なしに理想的なピンホールカメラで形成される画像である。言い換えれば、ノイズも回折もなしに、無限遠の被写界深度(depth−of−field)から撮影された画像である。まず最初に、簡明化のため、単に平坦な対象物を考察し、その対象物はカメラの前方から未知の距離ｚの場所でカメラに対して垂直になっている。後に、この状況は、より現実的な空間変動深度(spatially−varying−depth)を有する場面に拡張される。

更に説明の便宜上、不鮮明行列(blurring matrix)Hを規定する点広がり関数(PSF)に関し、以下のことを仮定する。第１に、PSFは空間的に不変であるとする。そのような仮定は、高価な光学系や狭い視野の場合には合理的である。この空間不変性は、光伝達関数(OTF)H(w,v)を使って周波数領域の不鮮明さを簡便に特徴付けることを可能にし、ここでw,vは水平及び垂直方向の空間周波数である。言い換えれば、行列HはFFT演算子(オペレータ)により対角化されて対角行列になり、対角要素は系のOTFである。第２に、レンズ系のOTFは焦点ずれ収差(defocus aberration)が支配的であるとする。焦点ずれ収差は光伝達関数H(w,v,δ)を含み、ここでδは光学系の焦点ずれ量を示す。焦点ずれは、δに比例する：
ここで、fはカメラの焦点距離であり、bは後方焦点距離であり、zは対物距離であり、Aは絞りの直径である。この数式は、PSF幅の幾何学的特徴とレンズメーカーの数式を組み合わせることで得られる。焦点ずれの量は、ｚ及びｂの非線形関数であり、且つAの線形関数である。推定問題を簡略化するため、その推定問題を、ジオプタ(diopter)又はメートルの逆数ζ＝1/zで距離を推定する問題に変換し、関連する逆焦点関数β=1/f−1/bを用意する。この式変形を使うと、数式(2)は次のように書ける：
δ＝A(β−ζ) (3)

逆深度ζ＾又は逆焦点設定βの所与の推定値に関し、反転することで、実際の深度推定値z^又は後方焦点距離bが得られる。この式の利点の１つは、ζ及びβの単位が[0，1]の範囲内に規格化できることである。性能は一般的にはこの規格化されたスケールで報告される。

更に、全体的な加法性ノイズｎは２種類のノイズ成分を有するものとする。第１成分は、サンプリング回路に関連する熱リード雑音(thermal read noise)である。このノイズは画像には無関係であり、σ_r ²のノイズパワーを有する。第２成分は、ショットのイズに関する信号依存性のノイズである。このノイズは、信号パワーに比例関係のパワーを有する。このノイズは平均信号値μs＝(Σ_ms_m)/Mの関数であるものと仮定し、ここでｍは画素を指定し、Mは画素の総数である。このノイズパワーは、σ_s ²＝μ_sσ₀ ²で与えられ、σ₀ ²は基準パワーである。信号強度が増すにつれて、ノイズの第２成分は捕捉画像の中で支配的になることに留意を要する。リードノイズが支配的な場合、弱い信号に対しては線形に、強い信号に対しては信号エネルギの平方根のように、カメラのSNRは改善することをこのモデルは示唆する。

多くの画像処理システムの場合、信号強度は、各画素の井戸に捕らえられた光子数に依存する。検出器で捕捉された光子数は、絞り直径Aの二次関数であり、露出時間Tの一次関数である。信号が所定の範囲(例えば、[0，1])に規格化されていた場合、その規格化された信号のノイズパワーは、次式で与えられる：

捕捉された画像のSNRは、露出時間及び絞り設定の双方の関数である。実際のシステムでは、センサの画素は有限個の光子しか保持できず、従って絞り設定及び露出設定は、最大のダイナミックレンジ及び個々のフレームのSNRについて検出器を飽和させる程度に信号が充分に強くなることを保証するようにおそらくは選択される。或る画像領域が飽和し、暗い領域のダイナミックレンジを改善するように、露出は変更可能である。

以下の第１の例では、露出時間Ｔは固定されているが、絞り設定Ａは調整可能であるとする。このモデルの場合、絞り設定Ａの関数として、コントラスト及びSNRの間でトレードオフが本来的に存在する。例えば、対象物はカメラの近傍に位置しているが、後方焦点距離は無限遠に設定される。絞りを増やすことで、焦点の不鮮明さの増加を犠牲にして、SNRを改善できる。

数式(1)の先のモデルは、最尤(ML: Maximum-Likelihood)原理に基づいて、統計的に最適なマルチフレーム推定アルゴリズムを構築するのに使用可能である。周波数領域におけるMLコスト関数は、次式のように表現できる：
ここで、y_k(w,v)及びs(w,v)は、ｋ番目に捕捉された画像及び理想的なソース画像に関する周波数領域表現をそれぞれ示す。これは、ｋ番目の捕捉設定φ_kを使ってOTFでフィルタリングされた理想的な画像s及び観測されたｋ番目の画像y_k間の二乗誤差になる。MLコスト関数を計算する際、画素ピッチで規定されるナイキストサンプリング周波数に至るまでの空間週波数値だけを考察し、エイリアシングアーチファクトの影響を無視する。

未知の画像は観測画像に線形に関連するので、逆深度ζが既知の場合、未知の画像のML推定値は、マルチフレームウィーナー解(multiframe Wiener solution)により与えられる：
ここで、Ps(w,v)は理想的なソース画像s(w,v)のパワースペクトル密度である。この高分解能画像の推定値をコスト関数に代入することで、未知の距離逆数の関数として、以下の非線形コスト関数が得られる：

未知の距離逆数ζを推定するため、標準的な勾配降下法用いてこのコスト関数を最小化する。コスト関数を最小化するζの値は、ζの現在の値として使用される。勾配降下法を実行するため、未知の深度パラメータに関し、このコスト関数の解析的な導関数を算出する。一般に、コスト関数は一次元なので、この探索は非常に速やかに実行される。他の降下アルゴリズムが使用されてもよい。

このマルチフレーム法の利点の１つは、一群の焦点のずれたMTFがゼロ以下にならずに(符号を変えずに)重複していなかった場合、焦点の合っていない画像群から、焦点の合っている鮮明な画像を再構築できることである。焦点ずれ収差しか伴わない二乗瞳孔関数(square pupil)を有する光学系のOTFは、次式の形式をとる分離可能なMTFとして近似可能である：
H(ρ,δ)＝Λ(ρ)sinc(δρ(1−|ρ|)),ρ∈[−1,1] (8)
ここで、ρは、ナイキストサンプリングレート(ρ=1)で規格化された水平又は垂直規格化空間周波数座標である。これらの周波数座標は、F/#及び波長の関数である。関数Λ(x)はΛ(x)＝max{1−|x|，0}のように定義され；回折限界MTF包絡線を規定する。このような系の焦点ずれMTFは、δρ(1−|ρ|)が整数値に近い場合、ゼロレベルを跨ぐ(符号が変わる)。これらの空間周波数の間では、位相は反転するが、コントラストは保存される。ゼロレベルを一切跨ぐものがなかった場合、マルチフレーム再構築は、そのような焦点ずれ画像の複数個を使用し、コントラストを抽出する。

III．適応画像捕捉
III.A．MSE推定
上記のセクションは、深度推定問題としてのマルチフレーム再構築の一例を説明した。引き続きこの例に関し、本セクションは、以前に取得された画像に基づいて、捕捉の設定を選択する動的な方法を説明する。以下の例では、画像捕捉の基準は、マルチフレーム再構築後の二乗平均誤差(MSE: mean square error)の予測に基づく。MLアルゴリズムを実行するこの例の下で、パフォーマンスの予測材料は、クラーメルラオ(CR)パフォーマンス限界(CR Performance Bound)である。CR限界は、MSEパフォーマンスの基本的な限界を与えるだけでなく、ML推定用のMSEパフォーマンスの合理的な予測も与える。MSEパフォーマンスを予測する能力は、ML推定の漸近最適性(asymptotic optimality)に基づく。SNR法で無限大に近づく場合、或いは観測されるフレーム数が増える場合、ML推定は漸近的にCR限界に近づく。更に、推定の誤差分布はガウス型になる。

CR限界は、フィッシャー情報行列(FIM: Fisher Information Matrix)の逆行列として規定される。マルチフレーム再構築問題に関するフィッシャー情報行列(FIM)は、次式で与えられる：

行列H_kは、ｋ番目のフレームの不鮮明行列H(φ_k,ζ)を略記したものである。σ_k ²の項はｋ番目のフレームに関するノイズパワーを表し、捕捉設定の関数である。行列G_kは、不鮮明行列のオブジェクト距離逆数ζに関する導関数として定義される：
この微分フィルタは、本質的には空間周波数に関するバンドパスフィルタであり、空間周波数は逆焦点距離の変動の影響を受ける。画像再構築に関する情報は、対象の信号とは無関係であることに留意を要する。

CR限界を計算するため、区分けされたFIMにブロック逆行列補助定理を適用し、次式の形式でMSEの限界を求める：

この表現の場合、MSEパフォーマンス限界(M_ζ又は行列M_s)は、画像信号s、逆深度ζ及び一群の捕捉設定値Φの関数である。数式14で予測される画像再構築MSEパフォーマンスを考察する。数式14で予測されるMSEは、２つの項を有する。第１項は、深度が予め既知の場合のMSE限界を示す。第２項は、データから逆深度ζが推定された場合のMSEパフォーマンスの劣化を表す。数式14は、この例の適応フレーム捕捉最適化におけるメリット関数になる。マルチフレーム再構築と同様に、これらの項は周波数領域で効率的に算出できる。

図２のグラフは、様々な捕捉画像群について逆深度ζの関数として漸近再構築MSE(RMSE)特性を示す。曲線の各々は、２画像の様々な組み合わせについてのグラフである。３つの実線曲線210，212，214の場合、絞りは開放である(A=1.0)。３つの曲線は、フレームペアの様々な間隔に対応する。組み合わせの内の２画像は、曲線210の場合逆焦点設定β＝[0.05，0.95]で取得されたものであり、曲線212の場合β＝[0.25，0.75]で、曲線214の場合β＝[0.45，0.55]で取得されたものである。破線220，222，224は、同じ深度間隔であるが、絞りを減らしたもの(A=0.7)に関するRMSEパフォーマンスを比較している。曲線220，222，224は、β＝[0.05，0.95]，β＝[0.25，0.75]及びβ＝[0.45，0.55]にそれぞれ対応する。

一般に、絞りが減るにつれて、情報内容は少なくなり、RMSEは増える。この振る舞いは、より低速なF/#と共に焦点ずれの影響を光学系が受けにくくするために予測される。また、対象物の距離が、捕捉フレーム間の半分であった場合(ζ＝(β₁＋β₂)/2)、情報は最大になり、RMSEは最小になる。しかしながら、情報量は焦点距離と共に単調には増えない。

III.B．RMSEに基づく捕捉設定の決定
事前に情報が既知でなかった場合、画像s及び逆深度ζ双方の初期推定を行うには、少なくとも２つの異なるフレーム (この場合、異なる焦点設定ｂ及び／又は絞りＡで撮影されたもの) を要する。これらの初期フレームは、平均信号強度μsを近似する際にも使用可能である。これらの初期フレームの捕捉設定は、様々な方法で決定可能である。例えば、未知の逆深度ζに予め配置された場合の統計的な予備知識及び画像信号sに基づいて、初期捕捉の設定が最適化されてもよい。しかしながら以下の例では、初期絞り及び焦点の設定を変動(perturbing)させることで、初期フレームが捕捉されるものとする。

ｋ≧2の初期フレームを取得した後、マルチフレーム再構築アルゴリズムを画像群に適用し、推定された画像s _k ^{^}及び逆深度ζ_k ^{^}を求める。例えば、数式６は画像s _k ^{^}を推定するのに適用可能であり、数式７のコスト関数を最小化し、逆深度ζ_k ^{^}を推定することができる。この表記の場合、添え字のｋは、ｋ個の画像群に関する画像及び逆深度の推定であることを表す。CR限界の漸近特性を使って、深度位置に関する事後分布(posterior distribution)を構築する。深度推定誤差は漸近的にガウス型に近づくので、所与の逆深度ζの推定ζ_k ^{^}の分布もガウス型であると仮定する：

言い換えれば、分散がCR限界に近づくことを楽観的に仮定している。その後に、次式に従って推定値ζ_k ^{^}の下で事後分布を構築する：
ここで、p(ζ)は逆深度に関する或る予備知識である。便宜上、これは平坦な予備知識(flat prior)であるとする。その後に積分法で事後分布を算出する。この一次元の積分は数値的に処理しやすい。

次に、対象物及び逆深度の初期推定の下で、画像処理パフォーマンスを最大にするコスト関数を構築する。コスト関数の一例は次のとおりである：
このコスト関数は、距離事後分布に関して予測された再構築MSEを反映する。こうして、深度推定ζ_k ^{^}の確からしさは、再構築MSEのペナルティと釣り合う。そして、φ_k+1に関してコスト関数を最小化し、(k+1)番目の画像捕捉に関する捕捉の設定値を推定する。

図3A−3Dのグラフは、推定深度の関数として、様々な初期の２画像群について、数式17に基づいて捕捉設定値を合わせる様子を示す。これら全ての例に関し、初期の２画像群は、所定の深度間隔及び開放状態(A=1)で取得されている。所定の深度間隔は図から次の図に変わる。２画像は、図3Aの場合β＝[0.45，0.55]で捕捉され、図3Bの場合β＝[0.35，0.65]で捕捉され、図3Cの場合β＝[0.25，0.75]で捕捉され、図3Dの場合β＝[0.15，0.85]で捕捉される。焦点の設定に関するこれらの初期捕捉設定βは、各図の中で２つの太い縦の線で示されている。

２つの初期画像に基づいて、適応捕捉モジュールは、対象の深度ζ₂ ^{^}を推定し、数式17のコスト関数を最小化することに基づいて、捕捉する次の画像に関し、焦点β₃及び絞りA₃について示唆する捕捉設定値を決定する。各図において、曲線320は、推定対象物距離ζ₂ ^{^}の関数として、提案する焦点の設定値β₃を図示し、曲線310は、推定対象物距離ζ₂ ^{^}の関数として、提案する絞りの設定値A₃を図示している。これら全ての図に関し、逆深度ζ、絞りＡ及び逆焦点の設定βは全て[0，1]の範囲に規格化されている。

参考のため、破線のライン330は、過剰に楽観的に自動焦点アルゴリズムを使用した場合の焦点の設定β₃を示す。曲線330の場合、推定値ζ₂ ^{^}が完全に信頼されている。その後方焦点は推定された深度に厳密に焦点を結ぶように選択され、絞りは開放に設定される。

この例の場合、初期フレームの位置と共に最適な捕捉設定について或る対称性があることに留意を要する。初期画像対が接近していた場合(例えば、β=[0.45，0.55])、適応捕捉モジュールは、信頼性高く深度を推定するには情報が不足していることを確認し、現在のフレームから離れてサンプリングすることを促す。第３の画像の焦点の設定は、深度推定値によらず、以前の推定値から隔たって選択される。アルゴリズムは、ζ₂ ^{^}に依存して、現在サンプルされた場所から非常に近くの又は非常に遠くの場所を選択する。深度推定が、過去に捕捉したフレームに近かった場合、適応捕捉モジュールは、その過去のフレームは再構築に十分であると仮定し、絞りを開くことでSNRを増やしながら新たな深度距離をサンプリングすることを促す。

別の極限に関し、フレームが秘録へ立っていた場合(例えば、β=[0.15，0.85])、適応捕捉モジュールは、２つのフレーム間でなされた推定を信頼し、近似的にβ₃＝ζ₂ ^{^}を選択するが、推定の不確実性に対処するため絞りを縮小する。深度推定が以前にサンプリングした深度位置に近い場合、アルゴリズムは、新たな深度面をサンプリングして更に多くの情報を取得し且つSNRを改善するように絞りを広げることを促す。この最適化アルゴリズムは、第３フレームに関し、非線形ではあるが説明可能な捕捉設定値をもたらす。

図4A−4Dは図3A−3Dと同じ表記法を使用しているが、異なる状況を示す。再び、太い縦の線は初期の２フレームに関する焦点設定値βを示し、曲線420は、推定された対象物深度ζ₂ ^{^}の関数として、示唆される焦点設定値β₃を図示し、曲線410は、推定された対象物深度ζ₂ ^{^}の関数として、示唆される絞り設定値A₃を図示し、曲線430は楽観的な参考値を示す。

この例は、捕捉設定を合わせる際の質感(signal texture)の関係を示す。質感はフレームペアから深度を推定するのに重要である。この例の場合、パフォーマンスは、次式で与えられるパワースペクトル密度を伴う画像信号を用いて算出される：
γが増えると、信号は滑らかになり、深度を推定するのに要するテクスチャ量を減らす。

図4A−4Dはテクスチャを増やす場合を示す。図4Aの場合、信号は無視できるテクスチャを有する(γ＝2.0)。この場合、深度推定は、最適設定がβ₃＝0.5±0.45及びA₃＝1.0で与えられる程度に乏しい。このようにして、対象の深度を最も正確に推定する情報を本アルゴリズムは抽出しようとする。テクスチャ信号量が増えると、深度情報は初期フレーム間に十分になり、開口は小さいがその場所における焦点を保証する。しかしながら、過去にサンプルした深度位置に推定深度が近づくように変化すると、アルゴリズムは、以前のフレームが再構築の目的に十分と仮定されるので、深度間隔の新たな場所をサンプリングすることを促す。信号がかなりのテクスチャを有する他方の極限の場合(γ＝1.1，図4D)、アルゴリズムはその深度推定に強い信頼を持ち、最適化アルゴリズムは自動焦点アルゴリズムに似てくる。

III.C．RMSE及びエネルギ制約に基づく捕捉設定の決定
多くのアプリケーションでは、再構築パフォーマンスを最大化すること以外の考察事項も重要になる。例えば、民生のディジタルカメラその他の携帯装置の場合、エネルギの節約及びバッテリ寿命を延ばすことが重要である。そこで、絞り及び焦点の設定を変えることに関するコスト関数だけでなく、パフォーマンスの予測を組み合わせるコスト関数例を考察する(例えば、焦点及び絞りを変えることは、バッテリを消費する機械的な運動を要する。)。このコスト関数例は、次の形式をとる：

第１項はRMSEパフォーマンスに関するものであり、第２項E(Φ_k+1)は捕捉設定を変えることに伴うペナルティを表す。このペナルティ関数は、捕捉設定を変えるのに要するエネルギに関するコストと、捕捉設定を変えるのに要する時間遅延を反映するコストとを組み合わせる。簡易なモデルの場合、コスト関数は次式の関数形をとるかもしれない：
E(Φ_k+1)＝c_A|A_k+1−A_k|^αA＋c_b|d_k+1−d_k|^αb (19)
ここで、c_A，c_b，α_A及びα_bは、定数である。後述のシミュレーションでは、α_A＝α_b＝２である。レンズ系を動かすには、絞りの設定を変えるよりも多くのエネルギ及び時間を要するので、相対的な重みc_A/c_b=50が使用された。様々な大きさのMSE及びエネルギを組み合わせるため、画像処理システムに関連する特定のSNR値に対して、実際の係数が調整されるべきである。

適切に合った捕捉設定を用いて新たな画像y_kを取得した後、マルチフレーム再構築法は、更に多くの画像群に適用可能である。深度に関する過去の推定値は、数式19のコスト関数を最適化する際の初期開始点として使用可能である。このプロセスは、十分な画像品質に達するまで、最大の露出数が得られるまで、或いは何らかのエネルギ節約条件に達するまで反復される。

III.D．深度を伴う対象
上記の説明は、対象が平坦であり且つ単一の深度に位置していると仮定されていた。これは説明の簡明化のために仮定されていたに過ぎず、本発明の制約ではない。様々な深度を有する更に複雑な場面の場合、捕捉設定の最適化は、様々なフィールド位置に関する様々な深度を考察する。言い換えれば、深度は、空間位置の関数z(x₁，x₂)としてモデル化される。対象物は、空間的に変化する又は複数の深度の対象物としてモデル化できる。場合によっては、PSF行列H(z(x₁，x₂))の各行が変化してもよい。

１つの代替例は、上記のアルゴリズムを、画像フィールド中の様々なタイルに適用することであり、その場合、タイルの中で深度は一定であると仮定する。この場合、数式18で算出される予測MSEをタイル群にわたって重み付け加算したものを、コスト関数に使用する。別の方法は、欲張法(greedy approach)で最大MSEだけをタイルに使用し、全体的なMSEを最小化することである。

図５は、画像処理フィールドをタイル化し、特定のタイル領域内の深度を一定に仮定している例を示す。5Bは推定された深度マップを示す。正方形の副領域の各々が一定の色になっているのは、それが、一定の深度に位置するようにモデル化されたタイルを表すからである。

深度を推定することは上記の例で重要である。上記の例では、深度は数式７のコスト関数を最小化することで評価される。しかしながら、深度は様々な技法を使って(例えば、フィルタバンクを使って)推定されてもよい。一例では、画像は、バンドパスフィルタの集まり(バンク)によって選別される。フィルタの出力におけるエネルギは、深度を推定するのに使用される。これは、画素毎にさえ実行可能である。その後、フィルタ出力は、画素の深度推定値に従って重み付けされて組み合わされる。深度の細分化は、制度を改善し且つ複雑さを低減する。フィルタバンク法は、演算の観点からは、ここで議論された方法と同程度には魅力的ではない。

一例では、焦点ずれの関数として即ち深度の関数として画像モデルを構築するのではなく、選別された画像(フィルタリングされた画像)のモデルが、焦点ずれの関数として構築される。系のOTFは多くの場合回転対称であると仮定する。そこで、回転対称なバンドパスフィルタのバンクを使用する。そのようなフィルタは、回転対称な領域で周波数空間内の画像スペクトル成分を捕捉する。使用されるフィルタ群をFj(ρ)と表現し(ｊ＝１．．．P)、ｊはフィルタのバンドパスラジアル周波数(filter band pass radial frequency)を指定するものとする。簡明化のため、バンドパスフィルタの中心周波数がρ_j＝j/(P＋1)で与えられるバンドパスフィルタ群を考察する。これらのフィルタの出力は、回転対称フィルタで規定される一次元部分空間に二次元画像スペクトルを投影したものに相当する。非線形の深度推定プロセスの演算の複雑さは、データの次元を下げることで大幅に低減できる。

図６は、フィルタベースの深度推定を表す図を示す。フィルタバンク中の特定のバンドパスフィルタ620により、捕捉画像610A-Cがフィルタ処理されると、対応する出力信号630A-Cは、入力画像の或る量のテクスチャを捕捉する。図６に示される曲線640A−Nの各々は、様々な絞りの設定について、焦点の設定値の関数として(x軸)、特定のフィルタ620の出力を示す。実際には、３つの画像610A-Cが捕捉された場合、(これらのサンプル点は、各タイルについて又は各画素についてさえ決定可能であるが)３つのサンプル点650A-Cのみが既知であろう。逆深度及び絞り背邸の関数として(g_j(ζ，φ))、ｊ番目のフィルタのゲイン(利得)を表現する。ゲイン関数は、対象物が最良の焦点に位置する焦点距離の場合に最大値をもたらす。曲線のピークの様子は、絞りのサイズに依存する。フィルタベースの深度推定法は、少数のフレームについてのフィルタ出力群を使って、ピークの場所を推定する。一旦ピークが推定されると、対象物距離が推定可能になる。

この例の場合、次式の非線形コスト関数を使ってｉ番目の逆深度を推定する：
ここで、g_j(ζ，φ_k)は、ｊ番目のフィルタの出力関数を深度zの関数として表したものであり、c_kjiは、ｋ番目の捕捉画像の捕捉設定を使って、ｉ番目の画素、ｊ番目のフィルタについて測定されたフィルタ出力である。σ_jkの値は、ｋ番目の捕捉設定に関するｊ番目のフィルタの雑音である。N²は画像のサイズを表す。これは次式で規定される：
Ps_jの項は、次式により前もって規定される予測フィルタ統計値である：
σ_k ²及びPs(w,v)の項は以前に定義される。

フィルタベースの深度推定は、フィルタ出力を、フィルタ群の関数としてモデル化することに基づく。これは、フィルタ出力ゲイン関数をモデル化する校正プロセスを含む。フィルタ出力をモデル化する１つの選択肢は、ガウス型関数であり、それに伴う平均値は逆焦点設定値の関数となり、分散は絞り設定値及び焦点設定値の関数となる：
この数式の場合、ｂの項は、校正時点で選択された特定のゲイン関数の調整パラメータである。校正の際、基準となる真の逆深度を入力として使用し、各フィルタについてパラメータ設定を評価する。フィルタ出力(23)の他の関数形が使用されてもよい。理想的なフィルタ出力モデルは、広範に及ぶ信号の逆深度の関数として、フィルタ出力を表現する。

図７は、フィルタバンクに基づく深度推定を使って適応マルチフレーム再構築を行うフローチャートを示す。この例の場合、捕捉の所定の設定で最初の２つのフレームが取得される710。深度は捕捉されたフレームに基づいて推定され、数式20のコスト関数を最小化する720。所与の推定深度の下で、数式18のコスト関数を最小化することで、次の捕捉の設定が決定される730。示唆された捕捉の設定を使って次の画像が取得される740。より多くの画像が捕捉される場合、このサイクルが反復される750。層でなければ、画像捕捉は完了し、捕捉された画像は、マルチフレーム再構築法で画像を再構築するのに使用される。

IV．シミュレーション結果
以下の表１で規定される画像処理システムに関し、上記の適応捕捉法について具体的にシミュレーションが行われた。シミュレーションの対象画像は、従来のターゲットパターンである。画像のグレースケール値は、最大グレースケール値が１になるように規格化されている。これは、絞りが開放の場合26dBの一般的なSNRをもたらす。画像は120画素×120画素のサイズである。

表１：シミュレーションでのカメラ仕様

対象物は、カメラから前方z=2mの深度にある平坦な対象物と仮定されている。初期のカメラの設定は、A₀＝0.6，d₀＝12.00mm及びA₁＝1.0，d₁＝12.006mmである。後方焦点距離は、第１フレームの場合は無限遠に焦点を結ぶカメラに対応し、第２フレームの場合はカメラから前方24メートルの位置にある。マルチフレーム再構築アルゴリズムは、z₀ ^{^}＝3.37mの深度という貧弱な初期推定をもたらす。この貧弱な深度推定値を使用して再構築された画像は、それ自体全く貧弱なものになってしまう。

図８は、カメラが合計６つまでの画像を捕捉できる場合のシミュレーション結果を示す。このシミュレーションの場合、数式18のペナルティ関数は、焦点設定値β及び絞り設定値Aの双方を変えることについて大きなペナルティを課す。図８の中で上の段の画像は、捕捉されたフレームy_kを時間順に示している。最初のフレームy₀は図示されていない。図８の中で下の段の画像は、再構築された画像s_k ^{^}を、フレーム数の増加と共に示している。下の段の第１画像は、カメラが最初の２画像を捕捉した後に再構築された画像を示す。

捕捉設定を変えることについての厳しいペナルティと共に、捕捉の設定値は、数式18のコスト関数を使って決定された。その結果、k＝4の後、適応捕捉モジュールは、捕捉画像y5は未だ明らかに焦点がずれているがたとえそうであっても、捕捉設定を更に変更するペナルティを導入しないように選択を行っている。しかしながら、再構築画像は妥当な品質を示している。第３フレームを捕捉した後、アルゴリズムはz₂ ^{^}＝1.99ｍで深度を正確に推定している。この推定値は、続く反復と共に改善される。この第１の例に関する動的に決定された捕捉の設定値は、表２に示されている。パフォーマンスを改善するのに必要なエネルギのペナルティは、アルゴリズムが更に変更をもたらすことを防ぐので、ｋ＝４の後に捕捉の設定は変わるのを止めている。ｋ＝５の場合、カメラは、カメラから4.8mに相当する深度平面で焦点を結ぶ。

表２：シミュレーション１に関する捕捉の設定値(図８)

図９は、第２のシミュレーション結果を示し、エネルギのペナルティ関数の係数が３分の１に減らされている。このようにペナルティ関数を変えることは、動的な画像処理の間、捕捉の設定値をアルゴリズムが更に柔軟に変えることを可能にする。結果の設定値は表３に示されている。第２の例の設定値は、第１の例と比較してフレーム間の変化がより大きい。k＝5のフレームまでに、カメラは、カメラから2.5mに対応する平面まで焦点をずらしている。この時点において、対象物はほぼ完璧に焦点を結んでいる。図９は第２の例に対応する画像を示す。上記と同様に、図９の上の段の画像は、捕捉されたフレームy_kを示す。視覚的には、y₅は、ほぼ焦点のあった捕捉画像を表している。下の段の画像は、再構築で得られたフレームを示す。予想されるように、再構築画像は、厳しいエネルギペナルティと共に形成されたものよりも優れた特性を示している。

表３：シミュレーション２に関する捕捉の設定値(図９)

図10は、２つの例に関し、フレーム数kの関数としてRMSEパフォーマンスを比較している。予想されるように、シミュレーション２の捕捉設定値の変更に関する弱いペナルティ(曲線1020)は、シミュレーション１の強いペナルティ(曲線1010)に比較して優れたパフォーマンスをもたらす。しかしながら、より重要なことは、絶対項(absolute term)に小さな差異があることかもしれない。シミュレーション１による画像は、パワーの節約効果を十分にもたらす。１つの変形例として、ペナルティ関数は、バッテリ充電量又はユーザの好みの関数として変化してもよい。

図8-10は、平坦な対象物を使用していた(即ち、１つの対象物の距離に位置していた。)。図５は、対象の場面が複数の距離を有する例を示す。この例の場合、最初の２つの捕捉設定値が予め決定され、以後の補足設定値は上述したように適応的に決定される。5Aは現在の再構築画像を示す。前面の対象物形状、背景のチェックボードパターン及び前景付近のテストターゲットパターンは、全て比較的良好に焦点を結んでいることに留意を要する。5Bは現在の推定深度マップを示し、異なる色は異なる深度を表す。

V．別の実施例
詳細な説明は多くの具体例を含んでいるが、それらは本発明の範囲を限定するように解釈されるべきではなく、本発明の様々な実施例及び形態を例示するに過ぎない。本発明の範囲は上記で詳細には議論されなかった他の実施例を含むことが、理解されるべきである。例えば、焦点及び絞り以外の捕捉のパラメータが使用されてもよい。露出時間Tはその一例である。他の具体例は、波長の選別(フィルタリング)、偏光の選別、照明制御及びカメラの向き等を含んでもよい。上記の適応化技法は、これらのパラメータの捕捉設定値を決定するのに使用されてもよい。他の例として、上記の例の初期画像群は、所定の捕捉設定値に基づいて取得されていた。代替例では、これらの捕捉設定値は、例えば信号及び/又は深度の事前の情報に基づいて最適化されてもよい。他の変形例として、CR限界法に基づいて様々な最適化法が使用されてもよい。例えば、局所的な探索法を使用する代わりに、最適化は、最大Δ_Φ探索範囲に基づき、網羅的なサーチにより最適な設定を算出してもよい。CR限界やML推定以外の関数が使用されてもよい。また、高速フィルタ近似を使って、マルチフレーム再構築及び／又は深度推定アルゴリズムの演算を行ってもよい。

最後の例として、捕捉設定値は、ただ１つ隣のフレームだけでなく、隣の複数のフレームの捕捉に基づいて決定されてもよい。上記の例の場合、２画像の初期設定群が捕捉された。この２フレーム群に基づいて、第３フレームの捕捉設定値が決定されたが、第４や第５のフレームが捕捉されるかもしれないことは考慮されていなかった。代替例の場合、捕捉設定値は、いくつかの隣のフレームにわたって、或いは最終的な画像群全体について、全体的なパフォーマンスを改善する目的で決定される。従って、最初の２フレームの後、第３フレームは第４フレームを捕捉することに基づいて選択されてもよく、或いは合計６つのフレームが存在してもよい(即ち、第３フレームの後更に３つのフレームを使用してもよい。)。

更に、「モジュール」という用語は、具体的な物理的形態に限定されるようには意図されていない。具体的なアプリケーションに依存して、モジュールは、ハードウエア、ファームウエア、ソフトウエア及び／又はそれらの組み合わせとして実現可能である。上記のシステムの場合、適応捕捉モジュールは、好ましくはソフトウエアで実現される。しかしながら、それは(回路を含む)ハードウエアで実現されてもよいし、ハードウエア及びソフトウエアの組み合わせで実現されてもよい。更に、様々なモジュールが、共通の要素を共有してもよいし、或いは同じ構成要素としてさえ実現されてもよい。様々なモジュール間には明確な境界があってもよいし無くてもよい。

モジュールの形態に依存して、モジュール間の「結合」も様々な形態をとってよい。専用回路が互いにワイヤ配線により結合されてもよいし、共通のレジスタやメモリロケーション等にアクセスすることで互いに通信してもよい。ソフトウエア「結合」は、ソフトウエア構成要素間で(又は、場合によってはソフトウエア及びハードウエアの間で)情報を伝達するどの方法でなされてもよい。「結合」なる用語は、これら全てを含むように意図され、２つの構成要素間のハードウエアによる永続的な接続に限定されるようには意図されていない。更には、介在する要素が存在してもよい。例えば、２つの要素が互いに結合されるように説明される場合、要素が互いに直接的に結合されることだけを示唆するわけではなく、２つの間に他の要素を使用することを排除するわけでもない。

当業者にとって明らかな様々な他の修正例、変更例及び変形例が、添付の特許請求の範囲に示される本発明の精神及び範囲から逸脱せずに、ここで説明された本発明による装置及び方法の配置、動作及び詳細等に対して適用されてもよい。従って本発明の範囲は添付の特許請求の範囲及びその法的均等物によって規定される。

１１０ カメラ
１２０ 画像群
１３０ 再構築された画像
１５０ マルチフレーム再構築モジュール
１７０ 適応捕捉モジュール

Claims (25)

1. 対象のマルチフレーム再構築を行う方法であって、
   前記対象の少なくとも２つの画像群を異なる捕捉の設定で捕捉するステップと、
   前記画像の少なくとも１つについて、過去に捕捉した画像の内容に少なくとも部分的に基づいて、画像を捕捉する際の設定を決めるステップと、
   マルチフレーム再構築法を画像群に適用するステップと、
   を有する方法。
2. 前記画像群を捕捉する前記ステップ及び画像を捕捉する際の設定を決める前記ステップが、
   過去に捕捉した画像の内容に依存しない捕捉設定値で少なくとも２つの初期画像を捕捉すること、及び
   初期画像の後に捕捉される全ての画像に関し、過去に捕捉した画像の内容に少なくとも部分的に基づいて、画像を捕捉する際の設定を決めること
   を含む請求項１記載の方法。
3. 初期画像の後に捕捉される全ての画像に関し、画像を捕捉する際の設定を決めることは、画像の後に追加的な画像が取得されるか否かに依存しない、請求項２記載の方法。
4. 初期画像の後に捕捉される少なくとも１つの画像に関し、画像を捕捉する際の設定を決めることが、画像の後に少なくとも１つの追加的な画像が捕捉されるという仮定に少なくとも部分的に基づいて行われる、請求項２記載の方法。
5. 前記画像群がＫ個の画像を含み、初期画像の後に捕捉される全ての画像に関し、画像を捕捉する際の設定を決めることは、Ｋ個の最終的な画像群を仮定することに少なくとも基づいて行われる、請求項２記載の方法。
6. 過去に捕捉した画像の内容に少なくとも部分的に基づいて、画像を捕捉する際の設定を決めるステップが、
   過去に捕捉した画像の下で、前記マルチフレーム再構築の画像品質特性を向上させることに少なくとも部分的に基づいて、画像を捕捉する際の設定を決めるステップを有する、請求項１記載の方法。
7. 実効的な信号雑音比を増やすことに少なくとも部分的に基づいて、画像を捕捉する際の設定を決める、請求項６記載の方法。
8. 前記マルチフレーム再構築の画像品質特性を向上させることに少なくとも部分的に基づいて、画像を捕捉する際の設定を決める前記ステップが、予測されたMSE特性に更に基づいて行われる、請求項６記載の方法。
9. 前記マルチフレーム再構築の画像品質特性を向上させることに少なくとも部分的に基づいて、画像を捕捉する際の設定を決める前記ステップが、過去に捕捉された画像から得られる情報に比較して、画像から取得される情報を増やすことに少なくとも部分的に基づいて、捕捉する際の設定を決める、請求項６記載の方法。
10. 前記情報は、マルチフレーム再構築画像の予測された鮮明さの指標である、請求項９記載の方法。
11. 前記情報は、対象の深度に関する局所的な滑らかさの変化の指標である、請求項９記載の方法。
12. 過去に捕捉された画像の内容に少なくとも部分的に基づいて、画像を捕捉する際の設定を決める前記ステップが、
    総電力消費を減らすことに少なくとも部分的に基づいて、画像を捕捉する際の設定を決める、請求項６記載の方法。
13. 前記マルチフレーム再構築の画像品質特性を向上させることに少なくとも部分的に基づいて、画像を捕捉する際の設定を決める前記ステップが、捕捉設定値及び光点広がり関数間の関係をモデル化することに少なくとも基づいて行われる、請求項６記載の方法。
14. 画像を捕捉する際の設定を決める前記ステップが、過去に捕捉した画像を含む画像領域にわたって、総合的な鮮明さの重み付け加算値を最大化することに基づいて行われる、請求項１記載の方法。
15. 前記捕捉する際の設定は、絞りの設定を含む、請求項１記載の方法。
16. 前記捕捉する際の設定は、焦点の設定を含む、請求項１記載の方法。
17. 前記捕捉する際の設定は、露出の設定を含む、請求項１記載の方法。
18. 前記対象は、複数の深度を有する対象としてモデル化される、請求項１記載の方法。
19. 捕捉する際の設定を決める前記ステップは、
    過去に捕捉した画像の内容に少なくとも部分的に基づいて、複数の深度の対象の個々のタイルについて、異なる対象深度を推定するステップと、
    推定された対象深度に少なくとも部分的に基づいて、画像を捕捉する際の設定を決めるステップと、
    を有する、請求項１８記載の方法。
20. 画像を捕捉する設定を決める前記ステップが、各タイルについて評価されたタイルのメリット関数に関する重み付け平均値に少なくとも部分的に基づいて行われる、請求項１９記載の方法。
21. 画像を捕捉する設定を決める前記ステップが、各タイルについて評価された全てのタイルのメリット関数に関する最悪ケースに少なくとも部分的に基づいて行われる、請求項１９記載の方法。
22. 画像を捕捉する設定を決める前記ステップが、
    過去に捕捉した画像の内容にフィルタバンクを適用することに少なくとも部分的に基づいて、複数の深度の対象の個々の部分について、異なる対象深度を推定するステップと、
    推定された対象深度に少なくとも部分的に基づいて、画像を捕捉する際の設定を決めるステップと、
    を有する、請求項１８記載の方法。
23. 前記マルチフレーム再構築を適用する前記ステップが、推定された深度マップを生成する、請求項１記載の方法。
24. 画像を異なる捕捉設定で捕捉する画像捕捉装置と、
    前記画像捕捉装置に結合され、捕捉された画像を受信する適応捕捉モジュールと、
    前記適応捕捉モジュールに結合され、画像群にマルチフレーム再構築法を適用するマルチフレーム再構築モジュールと、
    を有し、前記適応捕捉モジュールは、
    (a)対象の少なくとも２つの画像群を異なる捕捉の設定で捕捉することを、前記画像捕捉装置に指示し、及び
    (b)少なくとも１つの画像について、過去に捕捉した画像の内容に少なくとも部分的に基づいて、画像を捕捉する際の設定を決める、マルチフレーム再構築システム。
25. 対象の少なくとも２つの画像群を異なる捕捉の設定で捕捉させること、
    該捕捉された画像を受信すること、及び
    少なくとも１つの画像について、過去に捕捉した画像の内容に少なくとも部分的に基づいて、画像を捕捉する際の設定を決めること、
    をコンピュータシステムに実行させる命令を含むソフトウエア。