JP2013531268A - 符号化開口を使用した距離の測定 - Google Patents

Abstract

画像撮影装置を使用して、撮影シーン内の対象物に関する距離情報を識別する方法であって、画像センサ、符号化開口およびレンズを有する画像撮影装置を提供するステップ；距離較正データから導出された複数のボケ・パラメータの組をメモリ内に記憶するステップ；複数の対象物を有する撮影シーンの画像を撮影するステップを備える方法が開示される。続いて、本発明に係る方法は、撮影された画像と前記記憶された組からの前記ボケ・パラメータの各々を使用してボケを補正した画像の組を提供するステップをさらに備え、当該ステップは、ボケが補正された画像の候補を初期化する動作と、前記ボケが補正された画像の候補内における隣接する画素間の差分を表している複数の差分画像を決定する動作と、前記複数の差分画像を合成することにより合成差分画像を決定する動作と、前記撮影された画像、前記ボケ・パラメータ、前記ボケが補正された画像の候補および前記合成差分画像に応じて、前記ボケが補正された画像の候補を更新する動作と、収束条件が満たされるまで上記した動作を反復実行する動作によって実現される。最後に、本発明に係る方法は、ボケが補正された画像の前記組を使用して、前記撮影シーン内の前記複数の対象物に関する前記距離情報を決定する。
【選択図】図７

Description

本発明は、撮影シーン内の撮影対象物に関する距離情報を決定する機能を有する画像撮影装置に関係し、より具体的には、距離情報をより効率的に決定するための符号化開口と新規な計算アルゴリズムを備えた撮影装置を使用する方法に関する。

光学的撮像システムは、指定された距離範囲にわたって撮影シーン内対象物に焦点を合わせた画像を生成するように設計されている。当該画像は、撮像空間内の焦点平面あるいは撮像平面と呼ばれる２次元（２Ｄ）の平面内において最も鮮明に焦点が合う。幾何光学的に言えば、撮影シーン内対象物と撮像平面との間の完全な合焦関係は、以下の薄レンズ方程式に従う撮影対象物と撮像距離との組み合わせに関してのみ成立する。

ここで、ｆはレンズの焦点距離であり、ｓは撮影対象物からレンズまでの距離であり、ｓ’は、レンズから撮像平面までの距離である。この方程式は、単一の薄レンズに関して成り立つが、分厚いレンズ、複合的なレンズ、およびより複雑な構造の光学系は、実効焦点距離ｆを有する単一の薄レンズとしてモデル化され得ることも周知である。代替的に、複数の基礎平面および、これらの基礎平面から測定される撮影対象物と撮像平面に関する距離ｓ、ｓ’を構成要素として使用した上で、上記（１）の方程式において実効焦点距離を使用することによって、複雑な構造の光学系をモデル化することも可能であり、実効焦点距離を使用する場合の上記方程式を以下の記述においては、レンズ方程式と呼ぶことにする。

さらに、光学系が距離ｓ_１において一旦焦点合わせがされたならば、一般的には、この距離に位置する撮影対象物だけが距離

に位置する対応する撮像平面上で鮮明に焦点が合うことも周知である。これとは異なる距離ｓ_２に位置する撮影対象物は、上記のレンズ方程式により決定される対応する撮像距離

において最も鮮明な画像を生成する。光学系が、ｓ_１の距離において焦点合わせがされたならば、ｓ_２の距離に位置する撮影対象物は、

の距離に位置する撮像平面の上で焦点がずれたボヤけた画像を生成する。このボケの度合いは、２つの撮影対象距離Ｓ_１およびＳ_２の間の差分、レンズの焦点距離ｆおよび「f/#」と表記されるf-数によって測定されるレンズの開口度合いに依存する。例えば、図１は、焦点距離がｆであり、明瞭となる開口度合いを直径で表すとＤとなる単一のレンズ１０を示している。
ｓ_１の距離に位置する一の撮影対象物の光軸上の点Ｐ_１は、レンズから

の距離に位置する点

に結像される。ｓ_１の距離に位置する一の撮影対象物の光軸上の点Ｐ_２は、レンズから

の距離に位置する点

に結像される。これら複数の撮影対象物の点から光線をトレーシングすると、光軸を取り巻く光線２０および２２は、点

の上に収束し、光軸を取り巻く光線２４および２６は、点

の上に収束して、撮像平面

において両端がｄだけ離間させられた領域を切り取る。回転軸の周りで対称な光学系においては、点Ｐ_２から全ての方位に放射される光線の分布は、

の撮像平面において直径ｄを有する円を結果として生成し、この円は、ボケの円あるいは不明瞭円と呼ばれる。

光軸上の点Ｐ_１がレンズから離れるように無限遠に向かって動くとき、上記のレンズ方程式から明らかなように、

となる。この事から、f-数の通常の場合の定義が

となるという結果が得られる。有限の距離においては、f-数の有効な現在値は、以下のように定義される。

上記２つのケースの何れにおいても、f-数が撮像平面に到達する光の円錐形状が成す角度の尺度であり、その結果、ボケの円の直径ｄと関係することが明らかとなる。実際、以下の式が成り立つことが証明可能である。

レンズの焦点距離とf-数、および２次元撮像平面内の様々な撮影対象物に関するボケ円の直径ｄの正確な測定により、原理上は以下の事が可能となる。即ち、上記の式（２）を逆変換式に反転させた上で、上記のレンズ方程式を適用して撮影対象物と撮像平面に関する距離と関係付けることにより、撮影シーン内の撮影対象物の深さに関する情報を得ることが出来る。この事は、対象物までの一つ以上の既知の距離において、光学系を注意深く較正することを必要とし、この時点で実行すべき残りの作業は、ボケ円の直径ｄの正確な決定である。

上述した検討は、焦点に基づく受動的な光学距離測定方法の背後にある原則論を確立するものである。それは、既存の照明光に基づく方法（受動的な方法）であって、撮影シーン内対象物の焦点合わせの度合いを解析し、この結果を、カメラから対象物までの距離と関係付けるという方法である。上記したような方法は、以下の２種類のカテゴリに分けることが出来る。一つは、「焦点ボケ状態からの深さ」の方法であり、これは、カメラが一回だけ焦点合わせをされ、単一の画像が撮影された上で、深さに関する解析がされることを前提とする。もう一つは、「合焦状態からの深さ」の方法であり、複数の異なる焦点位置において複数の画像が撮影された上で、複数の異なるカメラ設定についての複数のパラメータを使用して、撮影シーン内対象物の深さを推測することを前提としている。

上述した方法は、深さを再現する問題を洞察するための知見を与えてくれるものの、残念ながら、過度に単純化され過ぎており、実用面において頑健な方法ではない。幾何光学的な見地に基づくならば、撮影対象物を成す各点の焦点がずれた画像は均一な円盤型、すなわちボケ円となることが予見される。実際、回折効果とレンズ収差は、より複雑な光の分布を結果として生み出し、それは、対象物平面上の点光源に起因した撮像平面上の任意の点（ｘ，ｙ）における光強度を特定する点拡散関数（psf: point spread function）によって特徴付けられる。以下の特許文献１において説明されるとおり、焦点がボケる過程は画像の輝度を深さに依存したpsfとの間で以下の式のように畳み込み演算した結果としてより正確にモデル化される。

ここで、

は、焦点がボケている画像であり、

は焦点が合っている画像であり、

は深さに依存したpsfであり、演算子「＊」は畳み込み演算を表す。フーリエ変換後のドメインにおいては、この式は以下のように書くことができる。

ここで、

は、焦点がボケている画像のフーリエ変換であり、

は、焦点が合っている画像のフーリエ変換であり、

は、深さに依存したpsfのフーリエ変換である。当該psfのフーリエ変換は、光学変換関数、すなわちＯＴＦ（Optical Transfer Function）であることに留意されたい。以下の特許文献１は、「合焦状態からの深さ」の方法を述べており、これは、psfが回転軸の周りで対称であることを前提としている。すなわち、

であり、かつ、

であり、ここで、ｒおよびρは、それぞれ空間ドメインおよび空間周波数ドメインにおける半径である。２枚の画像が撮影され、その一方は、カメラが小さな開口度合い（焦点の長い深さ）を備え、もう一方は、カメラが大きな開口度合い（焦点の小さな深さ）を備える。当該２枚の画像のウィンドウ制御がかけられた対応する複数のブロックに関して離散フーリエ変換が取られ、それに続いて、結果として得られた電力スペクトルの「等半径による球面平均」が取られる。これは、周波数空間内の原点を中心として方位角度360度に跨る一連の複数の半径距離において当該スペクトルの平均値が計算されることを意味する。その時点において、「視野の深さ（DOF: Depth of Field）」が長いおよび短い画像の「等半径による球面平均」がされた電力スペクトルは、対応するウィンドウ制御がされた複数のブロックにおける

に関する推定値を計算するのに使用され、この時、各ブロックは、カメラからの異なる距離ｚにおける一つの撮影シーン構成要素を表すと仮定している。システムは、既知の距離

における撮影対象物を含んだ撮影シーンを使用して較正され、その結果、

の特性値を決定し、続いてさらに、これはボケ円の直径と関係付けられる。ボケ円の直径と距離ｚとの間の比率の回帰処理は、画像に関する深さ又は距離のマップを結果として生成し、当該マップは、上記した複数のブロックに対応してＤＦＴ演算のために選択された解像度により生成される。

ボケ円の回帰処理に基づく方法は、信頼性の高い深さの推定値を生成することが示された。焦点距離の近傍では、ボケ円の直径は急激に変化するが、焦点距離から遠ざかると非常にゆっくりと変化し、焦点位置に対してその変化の振る舞いが非対称であるという事実によって、深さの解像度は制限される。さらに、上記方法は、点拡散関数（psf）の解析に基づいているという事実にもかかわらず、上記方法は、当該psfから導出された単一の指標（ボケ円の直径）に依拠している。

「焦点ボケ状態からの深さ」の方法の他のものは、焦点ボケの関数としてのpsfの振る舞いを予見可能な方法でエンジニアリングすることを試みるものである。制御された深さ依存ボケ生成関数を生成することにより、この情報は、画像中のボケを補正し、当該ボケ補正の操作の結果に基づいて撮影シーン内対象物の深さを推測するのに使用される。この問題に対しては２つの主な構成部分がある。一つは、psfの振る舞いの制御であり、もう一つは、焦点ボケの関数としてpsfが与えられた場合における画像のボケ補正である。

当該psfの振る舞いは、光学系の中の、典型的には開口絞りの平面に位置において、マスクを配置することによって制御される。例えば、図２は、２枚のレンズ３０と３４、およびこれらの間に配置され、複数の孔の配列を含んでいるバイナリ透過性マスク３２を備えた従来技術における光学系の概略図を示している。殆どの場合において、当該マスクは、撮影対象物の光軸周りの点から伝搬する光線の束を制限するシステム内構成要素であり、従って定義としては開口絞りである。これら複数のレンズに収差が無いと合理的に言える場合、回折効果と組み合わされた当該マスクは、psfおよびOTFの著しい決定要因となる（以下の特許文献２を参照されたい）。この観察結果は、符号化されたボケ、すなわち符号化開口の方法の背後にある現在有効な原理となっている。従来技術の一例において、以下の特許文献３は、均一に光を透過する正方形のセルにより構成された広帯域周波数マスクは、焦点がずれていることによるボケ生成の期間中に高い空間周波数を保存することが出来ることを例証している。回折効果が無視できるような場合に妥当となる前提であって、焦点ボケを生成するpsfが開口マスクの拡大縮小版であるというの前提を置くならば、深さに関する情報はボケの補正操作によって得られることを著者は示している。この事は、逆畳み込み問題を解くことを必要とする。すなわち、上記の式（３）を逆変換式に反転させてｚの関連する値について

を得ることを必要とする。原則的には、上記の式（３）の空間周波数ドメイン側における対応する式である式（４）を逆変換式に反転させるほうが簡単であり、

が非ゼロである全ての周波数においてこの反転操作は実行される。

実際には、逆畳み込み問題の一意な解を発見することは非常に困難な問題であることが知られている。特許文献３は、この問題を以下のようにして解いている。まず、撮影シーンは複数の離散的な層から構成されているとの仮定を置き、続いて、当該撮影シーン内の層の枚数を推定値を形成する。続いて、以下のモデル式を使用して、各層毎に別々にpsfの拡大縮小率が推定される。

ここで、ｍ（ｘ，ｙ）はマスク透過率関数であり、ｋ（ｚ）は深さｚにおけるpsfでの画素数であり、ｗは２Ｄマスク内でのセル数である。著者は、psfに関する上記の式（５）に沿って画像の変化勾配の分布に関するモデルを適用し、撮影シーン内の仮定された深さ層の各々に対して一回ずつ画像の逆畳み込み演算を実行した。逆畳み込み演算の結果は、拡大縮小率が一致するpsfに対してだけ望ましいものとなるため、当該領域の対応する深さを表すこととなる。これらの結果の有効性は、上記の式（５）のマスク拡大縮小モデルに従って振舞い、均質で正方形のセルによってマスクが構成されるシステムの範囲に限定される。

以下の特許文献４は、特許文献３と同じようなアプローチに従うけれども、焦点ボケ生成関数としてのpsfを推測するために、焦点ボケを生じる一連の複数の撮像平面におけるテスト・パターンの直接撮影結果に依存する。さらに、特許文献４は、最適な符号化開口に到達するための試みとして、数多くの異なるマスク設計を調べ上げている。これらは、逆畳み込み演算アルゴリズムにおいて、ガウス分布に従うまばらな画像変化勾配と共に、ガウス雑音モデルを前提としている。従って、最適化された符号化開口の解は、逆畳み込み解析において置かれる前提条件に依存している。

V.M.Bove著、「距離センシング型カメラのための画像アプリケーション」、SPIE 第901巻10〜17ページ、1988年発行 J.W.Goodman著、「フーリエ光学入門」113〜117ページ、McGraw-Hill, San Francisco、1968年発行 Veeraraghavan他著、「斑な写真：ヘテロダイン処理がされた光場および符号化開口の再フォーカス動作に関するマスキングが強化されたカメラ」、ACM Transactions on Graphics 26(3), paper 69、2007年７月発行 Levin他著、「符号化開口を使用した従来型のカメラからの画像と深さ」、ACM Transactions on Graphics 26(3), Paper 70、2007年７月発行

符号化開口法は、単一レンズを有するカメラ・システムを使用して撮影対象物の距離を判定するために有望な方法であることが示された。しかしながら、多種多様な画像コンテンツにわたって、多種多様な符号化開口の設計を使用して精度の高い距離測定結果を生成することが出来る方法に対する需要が依然としてある。

本発明は、画像撮影装置を使用して、撮影シーン内の対象物に関する距離情報を識別する方法であって、ａ）画像センサ、符号化開口およびレンズを有する画像撮影装置を提供するステップ；ｂ）距離較正データから導出された複数のボケ・パラメータの組をメモリ内に記憶するステップ；ｃ）複数の対象物を有する撮影シーンの画像を撮影するステップ；ｄ）撮影された画像と前記記憶された組からの前記ボケ・パラメータの各々を使用してボケを補正した画像の組を提供するステップであって、i)ボケが補正された画像の候補を初期化する動作と、ii)前記ボケが補正された画像の候補内における隣接する画素間の差分を表している複数の差分画像を決定する動作と、iii)前記複数の差分画像を合成することにより合成差分画像を決定する動作と、iv)前記撮影された画像、前記ボケ・パラメータ、前記ボケが補正された画像の候補および前記合成差分画像に応じて、前記ボケが補正された画像の候補を更新する動作と、v)収束条件が満たされるまで上記i)からiv)までの動作を反復実行する動作によって実現されるステップ；および、ｅ）ボケが補正された画像の前記組を使用して、前記撮影シーン内の前記複数の対象物に関する前記距離情報を決定するステップを備える方法を提案するものである。

本発明は、逆畳み込み演算カーネルの正確性を頑健に維持する新規な逆畳み込み演算アルゴリズムに基づいて改善された距離推定値を生成することが出来るという利点を有し、より広範囲にわたる多種多様な符号化開口の設計に対してより広範に適用可能である。さらに、本発明は、従来技術におけるボケ補正アルゴリズムと比べて明らかな人為的副作用が殆ど現れないボケ補正画像に基づき、その結果、改善された距離推定値が得られるというもう一つの利点を有する。

従来技術において周知である単一レンズを有する光学系の概略図 従来技術において周知である符号化開口マスクを備えた光学系の概略図 本発明の一つの実施形態に従い、画像撮影装置を使用して、撮影シーン内の対象物に関する距離情報を識別する方法の各動作ステップを示すフローチャート 本発明の一つの実施形態に従う撮影装置の概略図 本発明の一つの実施形態に従って対象物までの一つの距離に関するボケ・パラメータと焦点ボケを生じる一連の複数の距離を得るための現像室のセットアップを示す概略図 本発明の一つの実施形態に従ってボケが補正された複数画像の組を提供するために撮影された画像とボケ・パラメータがどのように使用されるかを示す工程図 本発明の一つの実施形態に従って単一の画像のボケを補正する動作を示す工程図 本発明の一つの実施形態に従って現在の画素位置の中央に配置されたインデックス番号の配列を示す概略図 本発明の一つの実施形態に従って撮影シーン内の複数の対象物に関する距離情報を決定するように処理された複数のボケ補正済み画像の組を示す工程図 本発明の一つの実施形態に従うデジタル・カメラ・システムを示す概略図

以下の説明においては、本発明の幾つかの実施形態は、通常はソフトウェア・プログラムとして実装されるとの観点から記述される。そのようなソフトウェアの均等物はさらに、ハードウェアとしても実装され得ることを当業者は直ちに理解するだろう。画像操作に関するアルゴリズムとシステムは周知であるから、本明細書の以下の記載においては、本発明に固有の方法の一部を成す、あるいは当該方法とより直接的に協働するアルゴリズムとシステムを特に説明の対象としている。上記のようなアルゴリズムとシステムのその他の実施態様およびそれらに関連する画像信号を生成する又は処理するハードウェアおよびソフトウェアは、本明細書中において具体的に示されたり記述されたりしないけれども、当該技術分野において周知であるシステム、アルゴリズム、構成部品、および構成要素の中から適宜選択され得るものである。以下の本発明に従って記述されるシステムが与えられた場合、本発明を実装するのに有用であるとして本明細書において具体的に示され、示唆され、あるいは記述されたソフトウェアは、当該技術分野における当業者にとって従来技術から自明の範囲である。

本発明は、本明細書中で記述された複数の実施形態の組み合わせを包含するものである。「特定の実施形態」との言及およびこれと同様の言及は、本発明の少なくとも一つの実施形態において存在する技術的特徴のことを指すものとする。「一の実施形態」と「複数の特定の実施形態」とを区別する言及するあるいはこれと同様の言及をすることは、必ずしも同一の実施形態を指しているとは限らない。しかし、それらの実施形態は、その旨が明示されない限り、あるいは当業者にとってその旨が直ちに明らかでない限り、相互に排他的ではない。「方法」または同様の概念を指して言う場合の単数形又は複数形の使用は本発明を限定するものではない。その旨が明示的に記されたり、文脈から必然的とされない限り、用語「または（ｏｒ）」は本明細書中において非排他的な意味で使用される。

図３は、本発明の一つの実施形態に従い、画像撮影装置を使用して、撮影シーン内の対象物に関する距離情報を識別する方法の各動作ステップを示すフローチャートである。本発明に係る方法は、画像センサ、符号化開口およびレンズを有する画像撮影装置５０を提供するステップ；距離較正データから導出された複数のボケ・パラメータの組をメモリ６０内に記憶するステップ；複数の対象物を有する撮影シーンの画像７０を撮影するステップ；撮影された画像と前記記憶された組からの前記ボケ・パラメータの各々を使用してボケを補正した画像の組８０を提供するステップ；およびボケが補正された画像の前記組を使用して、前記撮影シーン内の前記複数の対象物に関する前記距離情報９０を決定するステップを含む。

本発明に係る画像撮影装置は、本発明の様々な実施形態に係る方法を実装する一つ以上の画像撮影装置を含み、これには、本明細書において後述される例示的な画像撮影装置も含まれる。「画像撮影装置」あるいは「撮影装置」との表現は、以下のものを備えるあらゆる装置を包含するように意図される。すなわち、撮像平面上に焦点合わせがされた画像を形成するレンズを含み、画像の記録とデジタル化の目的のために撮像平面上に電子的画像センサが設置され、これらに加えて、撮影シーン又は撮影対象物が位置する平面と撮像平面との間に設置された符号化開口すなわちマスクを含むような装置である。これらの装置には、デジタル・カメラ、携帯電話、デジタル・ビデオ・カメラ、監視カメラ、ｗｅｂカメラ、テレビ・カメラ、マルチメディア装置、または画像を記録するためのその他の任意の装置が含まれる。図４は、本発明の一つの実施形態に従うそのような撮影装置の概略図である。撮影装置４０は、ここにおいて複数の構成要素を含んだ複合構造レンズとして示されるレンズ４２、符号化開口４４、および電子的センサ配列４６を含んでいる。好適には、当該符号化開口は、光学系内の開口絞りの位置に配置され、又は当該技術分野において入口と出口の瞳孔として知られている当該開口絞りの複数の写像の中の一つに配置される。この事は、開口絞りの位置に依存して図２に示すように、符号化開口を複合構造レンズの複数の構成要素の間に設置する必要性を生じさせる。当該符号化開口は、そこに入射する光波の波面に跨る振幅の分布のみを変更する場合は光吸収型のものとし、そこに入射する光波の波面に跨る位相の遅延のみを変更する場合は位相型のものとし、振幅と位相の両者を変更する場合は、混合型のものとする。

複数のボケ・パラメータの組をメモリ６０内に記憶させるステップとは、対象物までの複数の距離と焦点ボケを生じる複数の距離の系列に関して画像撮影装置のpsfの表現を記憶させることを指して言う。ボケ・パラメータを記憶させることは、２次元マトリクス中で離散的な符号値によって指定されるpsfのデジタル化された表現を記憶することを含む。それはさらに、psfのデータに対して適用された回帰関数または当てはめ関数から導出される数学的パラメータを記憶することを含み、これにより、座標（ｘ，ｙ，ｚ）で表される所与の位置におけるpsfの値は当該パラメータおよび既知の回帰関数または当てはめ関数から直ちに計算することが出来る。そのようなメモリは、コンピュータ・ディスク、ＲＯＭ、ＲＡＭまたは当該技術分野において周知であるその他の電子的メモリを含む。そのようなメモリは、カメラ内に内蔵することも出来るし、当該カメラと電子的に接続されるコンピュータ又はその他のデバイスの中に内蔵することも出来る。図４に示す実施形態においては、ボケ・パラメータ４７

を記憶しているメモリ４８は、カメラ４０の内部に配置されている。

図５は、本発明の一つの実施形態に従って対象物までの一つの距離に関するボケ・パラメータ、および焦点ボケを生じる一連の複数の距離を得るための現像室のセットアップを示す概略図である。模擬的な点光源は、焦点平面Ｆと交差する光軸上の一点に対して集光装置２１０によって焦点合わせがされる光源２００を含み、上記焦点平面Ｆは、カメラ４０から見た時の、対象物までの距離Ｒ_０に位置するカメラ４０にとっての焦点平面とも一致する。上記した光軸上の一点を通過する光線２２０と２３０とは、カメラ４０から見て撮影対象物までの距離Ｒ_０だけ離れた光軸上に位置する点光源から放射されているように見える。従って、カメラ４０によって撮影されたこの光の画像は、撮影対象物までの距離Ｒ_０におけるカメラ４０のカメラpsfの記録となる。カメラ４０からのその他の距離に位置する撮影対象物に関して焦点ボケを生成するpsfは、光源２００および集光レンズ２１０を一緒に動かし（この例の場合は、左方向に動かす）、その結果、カメラ４０側の焦点位置を平面Ｆに維持しながら、実効的な点光源の位置を、例えば図５に示すＤ_１およびＤ_２のような他の平面の上に動かす。その上で、カメラ４０から平面Ｆ、Ｄ_１およびＤ_２のまでのそれぞれの距離（距離の情報）がpsf記録画像と共に記録され、その結果、距離較正データの組が完成する。

図３に戻ると、撮影シーン７０の画像を撮影するステップは、当該撮影シーンの一枚の画像を撮影すること、あるいは、当該撮影シーンの２枚以上の画像から成る一連のデジタル画像の系列を撮影することを含み、後者の場合は、従来技術においてビデオ動画シーケンスとして知られている。このようにして、本発明に係る方法は、撮影シーン内で移動する一つ以上の対象物の距離情報を識別する機能を含んでいる。これは、上記画像系列中の各画像に関して距離情報９０を決定することによって達成される。あるいは、これは、上記画像系列中の複数の画像から成る何らかの部分集合に関して距離情報を決定することによっても達成され得る。本発明の幾つかの実施形態においては、上記画像系列中の複数の画像から成る一つの部分集合は、撮影シーン内で移動する一つ以上の対象物に関する距離情報を決定するために使用されるが、これは、画像同士の間の時間間隔が充分に小さいことにより、深さ方向すなわちｚ軸方向における顕著な位置変化に対する分解能を達成することができる限りにおいて可能である。すなわち、これは、ｚ軸方向における対象物の移動速度、および元々の画像撮影時間間隔つまりフレーム・レートの関数となるということである。本発明のその他の実施形態においては、撮影シーン内で移動する一つ以上の対象物の距離情報の決定は、当該撮影シーン内の静止している対象物と移動している対象物とを区別するために使用される。この事は、移動する対象物が、それ自身の動きベクトル中にｚ方向成分を有する場合、すなわち、その深さ位置が時間に応じてあるいは画像フレームに応じて変化する場合において特に有利である。静止している対象物は、カメラ自体の動きが考慮に入れられた後は、算出された距離の値が時間によって変化しない対象物となる一方で、移動する対象物は時間によって変化する距離の値を有する。本発明に係るさらに別の実施形態においては、移動する対象物と関係付けられた距離情報は、そのような対象物の位置を追跡するために画像撮影装置によって使用される。

図６は、撮影された画像７２およびメモリ４８中に記憶されているボケ・パラメータ４７

がボケ補正がされた複数の画像の組８１を提供するのに使用される工程図を示している。ボケ・パラメータは画像撮影装置４０のpsfを近似する複数の２次元マトリクスの組であり、当該psfの近似は、画像が撮影された距離、および焦点ボケを生じる一連の距離の系列であって、撮影シーン内の複数の対象物の距離をカバーする一連の距離の系列に関して実行される。代替的に、ボケ・パラメータは上述したような回帰関数または当てはめ関数から得られる数学的パラメータとすることもできる。上記のいずれの場合であっても、対象空間内の着目している複数の対象物までの複数の距離に渡って及んでいる点拡散関数４９のデジタル形式表現は、上記したボケ・パラメータから算出され、これは、図６において以下のような組として表される。

本発明の好適な実施形態においては、複数のボケ・パラメータ４７とデジタル表現された「複数のpsfの組４９」との間には、一対一の対応関係が存在する。本発明の幾つかの実施形態においては、一対一の対応関係は存在しない。本発明の幾つかの実施形態においては、ボケ・パラメータが記録されておらず、かつ、焦点ボケを生じる複数の距離においてデジタル表現された複数のpsfは、以下のようにして算出される。すなわち、焦点ボケを生じる距離のうち、ボケ・パラメータの記録データが利用可能である複数の距離から得られるボケ・パラメータの記録データを内挿補間あるいは外挿補間する。

デジタル表現された「複数のpsfの組４９」は、ボケ補正がされた複数の画像の組８１を提供するための逆畳み込み演算において使用される。撮影された画像７２に対しては、上記した「複数のpsfの組４９」内のｍ個の要素の各々について一回ずつの割合でｍ回の逆畳み込み演算が実行され、その結果、ボケが補正されたｍ枚の画像の組８１が生成される。続いて、ボケが補正された複数の画像の組８１の構成要素は

と表すならば、これらは撮影された元々の画像７２を基準画像としてさらに処理され、撮影シーン内の複数の対象物に関する距離情報が決定される。

以下、ボケ補正がされた複数の画像の組８０を提供するステップについて図７を参照しながら、より詳細に説明する。図７は、本発明に従って、上記した「複数のpsfの組４９」のうちの単一の構成要素を使用して単一の画像のボケ補正処理の工程を示す図である。当該技術分野において周知なように、ボケが補正される対象となる画像は、ボケた画像と呼ばれ、カメラ・システムにおけるボケ生成効果を表現するpsfは、ボケ・カーネルと呼ばれる。ボケた画像を受信するステップ１０２は、撮影シーンに関する撮影された画像７２を受信するために使用される。続いて、ボケ・カーネルを受信するステップ１０５が使用され、上記した「複数のpsfの組４９」の中から選択されたボケ・カーネル１０６が受信される。ボケ・カーネル１０６は、撮影シーン内の鮮明な画像に対して適用されるも畳み込み演算カーネルであり、これにより、撮影シーンに関する撮影された画像７２内の一つ以上の対象物とほぼ等しい鮮明度特性を有する画像が生成される。

続いて、ボケ補正された画像の候補を初期化するステップ１０４が使用され、撮影された画像７２を使用して、ボケ補正がされた画像の候補が初期化される。本発明の好適な実施形態においては、ボケ補正がされた画像の候補は、単に撮影された画像７２と等しくなるようにセットすることにより、初期化される。上記とは選択的に、ボケ・カーネル１０６を使用して撮影された画像７２を処理するために、当業者にとって周知である任意の逆畳み込み演算アルゴリズムを使用することも可能であり、これに続いて、ボケ補正がされた画像の候補１０７は、上記処理された画像と等しくなるようにセットすることにより初期化される。このような逆畳み込み演算アルゴリズムの具体例には、背景技術の欄で記述した広く周知なRL（Richardson-Lucy）逆畳み込み演算方法などの従来型の周波数領域フィルタリング・アルゴリズムが含まれる。撮影された画像７２が一連の画像系列の中の一部であるようなその他の実施形態においては、当該画像系列中の現在の画像と直前の画像との間で差分画像が算出され、ボケ補正がされた画像の候補は、この差分画像を基準画像として初期化される。例えば、画像系列中の連続する画像間の差分が現時点において小さい場合、ボケ補正がされた画像の候補は直前の状態からの再度の初期化はされず、それにより処理時間を節約することが出来る。この再度の初期化の手間は、画像系列中において顕著な差分量が検知されるまで、節約され続ける。本発明のその他の実施形態においては、画像系列間の顕著な変動が選択された画像領域内でのみ発生する場合には、ボケ補正がされた画像の候補中における当該選択された画像領域のみが再度の初期化をされる。本発明のさらに別の実施形態においては、画像系列間の顕著な変動が検知され、それにより上記のように処理時間を節約する場合、撮影シーン内の選択された画像領域又は選択された対象物に関してだけ距離情報が決定される。

続いて、差分画像を計算するステップ１０８を使用して、複数の差分画像１０９を決定する。差分画像１０９は、異なる方法（例えばｘ軸方向とｙ軸方向）に沿って異なる距離変化量（例えば、ΔｘおよびΔｙ）だけ変化した時の数値的な導関数を計算することにより算出された差分画像を含む。「合成された差分画像」を計算するステップ１１０は、上記の複数の差分画像１０９を合成することにより、一つの「合成された差分画像１１１」を形成するために使用される。

続いて、ボケ補正がされた画像の候補を更新するステップ１１２が使用され、撮影された画像７２、ボケ・カーネル１０６、ボケ補正がされた画像の候補１０７および「合成された差分画像１１１」に応じて「ボケ補正がされた画像の新しい候補１１３」が計算される。以下においてより詳細に後述するとおり、本発明の好適な実施形態においては、ボケ補正がされた画像の候補を更新するステップ１１２は、MAP（Maximum-A-Posterior）推定を使用したベイズ推定法を採用している。

続いて、収束判定基準１１５を適用することにより、ボケ補正アルゴリズムが収束したか否かを判定するために、収束判定テスト１１４が使用される。収束判定基準１１５は、当業者にとって周知である任意の適切な方法によって指定される。本発明の好適な実施形態においては、当該収束判定基準１１５は、「ボケ補正がされた画像の新しい候補１１３」と「ボケ補正がされた画像の候補１０７」との間の２乗平均差分が所定の閾値よりも小さくなる場合に、上記アルゴリズムが終了されることを指定する。収束判定条件のその他の代替的な形態は、当該技術分野における当業者にとって周知である。例えば一例として、収束判定条件１１５は、上記アルゴリズムが所定の反復回数だけ繰り返し実行された時に充足される。代替的に、収束判定条件１１５は、「ボケ補正がされた画像の新しい候補１１３」と「ボケ補正がされた画像の候補１０７」との間の２乗平均差分が所定の閾値よりも小さくなる場合に、上記アルゴリズムが終了されるけれども、上記２乗平均差分の条件が充足されなくても、上記アルゴリズムが所定の反復回数だけ繰り返し実行された時にもまた上記アルゴリズムが終了されるように指定することも可能である。

収束判定条件１１５が充足されていなければ、「ボケ補正がされた画像の候補１０７」は、「ボケ補正がされた画像の新しい候補１１３」と等しくなるように更新される。収束判定条件１１５が充足されていれば、「ボケ補正された画像１１６」が「ボケ補正された画像の新しい候補１１３」と等しくなるようにセットされる。続いて、ボケ補正がされた画像を記憶させるステップ１１７が使用され、結果として得られた「ボケ補正がされた画像１１６」をプロセッサがアクセス可能なメモリ中に記憶させる。当該プロセッサがアクセス可能なメモリは、ＲＡＭやハードディスクのような任意のタイプのデジタル記憶装置である。

本発明の好適な実施形態においては、「ボケ補正がされた画像１１６」は、MAP（Maximum-A-
Posterior）推定を使用したベイズ推定法を使用して決定される。この方法を使用して、「ボケ補正がされた画像１１６」は、以下の形式のエネルギー関数を定義することにより決定される。

ここで、Ｌは、「ボケ補正された画像１１６」であり、Ｋはボケ・カーネル１０６であり、Ｂはボケた画像、つまり撮影された画像７２であり、

は畳み込み演算子であり、Ｄ（Ｌ）は「合成された差分画像１１１」であり、λは重み付け係数である。

本発明の好適な実施形態においては、「合成された差分画像１１１」は、以下の式を使用して計算される。

ここで、ｊはインデックス値であり、∂_ｊは、ｊ番目のインデックスに対応する偏微分演算子であり、ｗ_ｊは、以下においてより詳細に後述する「画素に依存した重み付け係数」である。

インデックス値ｊは、差分値を計算する目的のために、隣接する画素を識別することに使用される。本発明の好適な実施形態においては、差分値は、特定の画素を中心にしてその周りの５×５の画素ウィンドウについて計算される。図８は、現在の画素位置３１０を中心としたインデックスの配列３００を示す図である。インデックスの配列３００内に表示された数はインデックス値ｊである。例えば、ｊ＝６となるインデックス値は、現在の画素位置３１０から見て１行だけ上にあり２列だけ左にある画素に対応する。偏微分演算子∂_ｊは、現在の画素位置に関する画素値とインデックスｊによって指定される相対的な画素位置に位置する画素値との間の差分を決定する。例えば、「∂_６Ｓ」は、ボケ補正された画像Ｌの各画素とその１行上かつ２列左に位置する対応する画素との間の差分をとることにより決定される差分画像に対応する。これを数式で表すと以下のようになる。

ここで、Δｘ_ｊとΔｙ_ｊはそれぞれ、ｊ番目のインデックスに対応する列と行のオフセット量である。複数の差分画像の組「∂_ｊＬ」に関して、以下のものを含んでいることが望ましい。すなわち、水平方向に隣接する隣接画素間の差分を表す一つ以上の水平差分画像、および垂直方向に隣接する隣接画素間の差分を表す一つ以上の垂直差分画像に加え、対角線方向に隣接する隣接画素間の差分を表す一つ以上の対角線差分画像を含んでいることが望ましい。

本発明の好適な実施形態においては、「画素に依存した重み付け係数ｗ_ｊ」は、以下の式を試用して決定される。

ここで、（ｗ_ｄ）_ｊは、ｊ番目の差分画像についての距離の重み付け係数であり、（ｗ_ｐ）_ｊは、ｊ番目の差分画像についての画素に依存した重み付け係数である。

距離の重み付け係数（ｗ_ｄ）_ｊは、差分がとられる画素間の距離に依存して差分画像の各々を以下のように重み付けする。

ここで、

は、差分がとられる画素間の距離であり、Ｇ（・）は重み付け関数である。本発明の好適な実施形態においては、当該重み付け関数Ｇ（・）は、ガウス関数に従って減少する関数であり、これは、距離のより大きな差分画像は距離のより小さな差分画像よりも小さく重み付けされるようにするためである。

「画素に依存した重み付け係数(ｗ_p)_ｊ」は、各差分画像をそれらの大きさに従って重み付けする。背景技術の欄において言及した特許文献４において検討された理由により、「画素に依存した重み付け係数ｗ」は、以下の式を使用して決定されることが望ましい。

ここで、|・|は、絶対値演算子であり、αは、定数（例えば、０．８の値を持つ）である。最適化工程の期間中、差分画像の一組「∂_ｊＬ」は、各反復処理毎に、直前の反復処理について決定されたＬの推定結果を使用して算出される。

式（６）によって与えられるエネルギー関数の最初の項は、画像の忠実性に関する項である。ベイズ推定理論における用語法に従うなら、これはしばしば「尤度の項」と呼ばれる。ボケた画像Ｂ（即ち、撮影された画像７２）とボケが補正された画像の候補（Ｌ）にボケを加えたバージョンとの間に小さな差分しか存在しないのであれば、この項は小さい値となることが理解される。この時、ボケが補正された画像の候補（Ｌ）にボケを加えたバージョンは、当該（Ｌ）に対してボケ・カーネル１０６（Ｋ）を使用して畳み込み演算処理がされることにより生成される。

式（６）によって与えられるエネルギー関数の第２の項は、画像差分項である。この項は、しばしば、「画像の先行度合い」とも呼ばれる。「合成された差分画像１１１」の大きさが小さい場合、当該第２の項は小さいエネルギーを有する。この事は、ボケた輪郭線の幅が小さくなるにつれて、より鮮明な画像ほど、低い勾配値を有する画素の数がより多くなるという事実を反映している。

ボケ補正がされた画像の候補を更新するステップ１１２は、当業者にとって周知である最適化方法を使用して、式（８）で与えられるエネルギー関数の値を減少させることにより、「ボケが補正された画像の新しい候補１１３」を計算する。本発明の好適な実施形態においては、この最適化問題は、以下の式で与えられるＰＤＥとして定式化される。

上記最適化問題は、従来型のＰＤＥ問題解決技法を使用して解かれる。本発明の好適な実施形態においては、ＰＤＥ問題解決技法が使用される際には、従来型の線形方程式の問題解決技法（例えば、複素共役勾配アルゴリズムなど）を使用して求解処理が実行されるように、上記最適化問題は、線型方程式の問題形式に変換される。ＰＤＥ問題解決技法による求解処理の詳細に関しては、背景技術の欄で上記した特許文献４を参照されたい。「合成された差分画像１１１」が「ボケ補正された画像Ｌ」の関数であったとしても、「ボケが補正された画像の新しい候補１１３」を計算する工程の実行中においては、「合成された差分画像１１１」は一定に維持されることに留意されたい。「ボケが補正された画像の新しい候補１１３」が一旦決定されたならば、それは次回の反復処理において使用され、その結果、更新された「合成された差分画像１１１」が決定される。

図９は、本発明の一つの実施形態に従って撮影シーン内の複数の対象物に関する距離情報９１を決定するように複数のボケ補正済み画像の組８１が処理される工程を示す工程図である。本発明のこの実施形態においては、ボケ補正された画像の組８１の構成要素

の各々は、デジタル的に表現された「複数のpsfの組４９」の中の対応する構成要素との間で、当該技術分野において周知なアルゴリズムを使用して、デジタル的に畳み込み演算処理がされ、この場合、当該畳み込み演算処理は、逆畳み込み演算を計算するために、当該逆畳み込み演算処理に対して入力されたpsfと同一のpsfを使用して実行される。その結果得られるものは、再構成された複数の画像の組８２であり、その各構成要素は、

と表現される。理論的には、再構成された画像

の各々は、元々の撮影された画像７２と正確に一致するものであるべきである。何故なら、上記の畳み込み演算処理は、それに先立って実行されたボケ補正処理つまり逆畳み込み演算処理の逆変換処理だからである。しかしながら、逆畳み込み演算処理は不完全であるので、結果として得られた再構成済み画像の組８２の中には、撮影された画像７２と完全に一致する構成要素は含まれていない。撮影シーンを構成する要素は、当該シーン要素を処理したpsfと対応する距離が、カメラの焦点平面からの当該シーン要素の相対距離とより精密に一致する場合に、より高い忠実度で再構成される。他方、当該シーン要素を処理したpsfと対応する距離が、カメラの焦点平面からの当該シーン要素の相対距離と相違する場合は、当該シーン要素が示す忠実度は劣悪となり、顕著な視覚的ノイズ効果が現れる。図９を参照すると、再構成された複数の画像の組８２を撮影された画像７２の撮影シーンを構成する要素と比較する（処理９３）ことにより、距離値が割り当てられる。この処理は、撮影された画像７２の撮影シーンを構成する複数の要素と、再構成済み画像の組８２に含まれるこれらシーン要素の再構成されたバージョンとの間で最も精密に一致するものを見つけることにより、実現される。例えば、撮影された画像７２の撮影シーンを構成する要素Ｏ_１、Ｏ_２およびＯ_３は、再構成済み画像の組８２の要素

の各々に含まれるこれらシーン要素の再構成されたバージョンと比較され（処理９３）、最も精密な一致をもたらす対応するpsfと関係付けられた既知の距離に相当する距離値Ｒ_１、Ｒ_２およびＲ_３が割り当てられる。

ボケ・パラメータの記憶された組の中からそれらの一部のみを使用することにより、ボケ補正された複数の画像の組８１の範囲は意図的に限定されることも可能である。このような事をする理由は多種多様であり、例えば、求めたい距離値９１に到達するまでの処理時間を節約したい、または、ボケ・パラメータの全範囲にわたる情報は不要である旨を表すカメラからの他の情報を有効活用して処理時間を節約したいなどの理由がある。使用される（そしてその結果、ボケ補正された画像の組８１が生成される）ボケ・パラメータの組は、インクリメンタルに限定され（即ち、サブサンプリングされる）、または範囲を限定される（即ち、範囲を制限される）。一連のデジタル画像の系列が処理される場合、使用されるボケ・パラメータの組は、当該系列中の各画像毎に異なっていても同一であっても良い。

代替的な実施形態として、記憶されたボケ・パラメータの中からそれらの一部のみを使用する、またはそれらをサブサンプリングする代わりに、ボケ補正された画像の組の縮減されたものが生成される。これは、選択された距離範囲内に含まれる距離値に対応した複数の画像同士を合成することによって生成される。これは、高度にテクスチャ化したことにより、もしくは高度に複雑化したことにより、セグメント化することが困難となった撮影シーンにおいて、深さの推定精度を改善するために実行されることが可能である。例えば、ｍ＝１，２，…，Ｍとした時のｚ_ｍが複数の距離値の組を表し、この時、psfデータの組

およびこれらに対応する複数のボケ・パラメータが測定されたとする。

がｍ番目の距離値に対応するボケ補正済み画像を表し、

がそのフーリエ変換式であると仮定する。ここで例えば、複数の距離値が、それぞれＭ個の距離値を含んでいるＭ個の均等なグループまたは区間に分割される場合、縮減された「ボケ補正された画像の組」は以下のように定義される。

本発明のその他の実施形態においては、上記した複数の距離値はＭ個の不均等なグループに分割される。本発明のさらに別の実施形態においては、縮減された「ボケ補正された画像の組」は上記の式（６）をフーリエ変換後のドメインに書き換え、さらにその逆フーリエ変換を取ることによって定義される。本発明のさらに別の実施形態においては、縮減された「ボケ補正された画像の組」は空間-周波数に依存した重み付け基準を使用して定義される。好適には、これは以下の式を使用してフーリエ変換後のドメインにおいて計算される。

ここで、ｗ（Ｖ_ｘ，Ｖ_ｙ）は、空間-周波数重み付け関数である。このような重み付け関数は、例えば、信号対雑音比が最も好ましい空間-周波数区間、あるいは、空間-周波数が人間の観察者にとって最も可視的である空間-周波数区間を強調する処理などの際に有用である。本発明の幾つかの実施形態においては、空間-周波数重み付け関数は、Ｍ個の距離区間のそれぞれについて同一であるが、その他の実施形態においては、これらの距離区間の全てまたは一部において異なっている。

図１０は、本発明の一つの実施形態に従うデジタル・カメラ・システム４００を示す概略図である。デジタル・カメラ・システム４００は、撮影シーンに関する１枚以上の画像を撮影するための画像センサ４１０、当該センサの上に当該撮影シーンを結像するレンズ部４２０、符号化開口４３０、距離較正データから導出されたボケ・パラメータの組を記憶し、プロセッサからアクセス可能なメモリ４４０、上記したこれら全てを内蔵する筐体４６０、および他の構成要素と通信可能であるデータ処理システム４５０を含み、データ処理システム４５０は、撮影された画像と記憶されたボケ・パラメータの組の中のそれぞれを使用してボケ補正された画像の組を提供し、当該ボケ補正された画像の組を使用して、当該撮影シーン内の複数の対象物に関する距離情報を決定するためのものである。データ処理システム４５０は、撮影された画像と記憶されたボケ・パラメータの組の中のそれぞれを使用してボケ補正された画像の組を提供するために上述した処理ステップを実行するプログラミング可能なデジタル・コンピュータである。本発明のその他の実施形態においては、データ処理システム４５０は、筐体４６０の内部に内蔵され、小型の専用プロセッサの形態を採る。

Claims (15)

1. 画像撮影装置を使用して、撮影シーン内の対象物に関する距離情報を認識する方法であって、
   ａ）画像センサ、符号化開口およびレンズを有する画像撮影装置を提供するステップ；
   ｂ）距離較正データから導出された複数のボケ・パラメータの組をメモリ内に記憶するステップ；
   ｃ）複数の対象物を有する撮影シーンの画像を撮影するステップ；
   ｄ）撮影された画像と前記記憶された組からの前記ボケ・パラメータの各々を使用してボケを補正した複数の画像の組を提供するステップであって、
   i)ボケが補正された候補画像を初期化する動作と、
   ii)前記候補画像内において隣接する画素間の差分を表している複数の差分画像を決定する動作と、
   iii)前記複数の差分画像を合成することにより合成差分画像を決定する動作と、
   iv)前記撮影された画像、前記ボケ・パラメータ、前記候補画像および前記合成差分画像に応じて、前記候補画像を更新する動作と、
   v)収束条件が満たされるまで上記i)からiv)までの動作を反復実行する動作によって実現されるステップ；および、
   ｅ）ボケが補正された複数の画像の前記組を使用して、前記撮影シーン内の前記複数の対象物に関する前記距離情報を決定するステップ；
   を備える方法。
2. 前記ステップｃ）は、一連のデジタル画像の系列を撮影することを含む、請求項１記載の方法。
3. 前記ステップｅ）は、前記系列中の各画像に関する距離情報を決定することを含む、請求項２記載の方法。
4. 前記ステップｅ）は、前記系列中に含まれる画像から成る一の部分集合に関する距離情報を決定することを含む、請求項２記載の方法。
5. 前記距離情報は、前記撮影シーン内の静止している対象物と移動している対象物とを区別するのに使用される、請求項３記載の方法。
6. 前記距離情報は、移動している対象物の位置を追跡するために前記画像撮影装置によって使用される、請求項５記載の方法。
7. 前記ボケが補正された画像の候補を初期化する動作は、
   ａ）前記一連のデジタル画像の系列の中の現在の画像と直前の画像との間の差分画像を決定する動作；および、
   ｂ）前記差分画像に応じて、前記ボケが補正された画像の候補を初期化する動作；
   を含む、請求項２記載の方法。
8. 前記ステップｅ）は、前記差分画像に応じて、前記撮影シーン内の前記対象物に関する前記距離情報を決定することを含む、請求項７記載の方法。
9. 前記ステップｄ）は、前記メモリ内に前記記憶された前記複数のボケ・パラメータの組の中からそれらの一部のみを使用することを含む、請求項１記載の方法。
10. 前記ステップｂ）は、それぞれ対応する距離値毎にそれと関係付けられているボケ・パラメータの一組が存在するような態様で、複数の距離値の組における較正データから導出されたボケ・パラメータの一組を使用することを含む、請求項１記載の方法。
11. 前記ステップｂ）は、少なくとも一つの距離値に関しては、ボケ・パラメータの一組が存在しないような態様で、複数の距離値の組における較正データから導出されたボケ・パラメータの一組を使用することを含む、請求項１記載の方法。
12. 前記ステップｂ）は、前記符号化開口および一連の複数の距離に位置する点光源を使用して撮影された画像から計算された複数のボケ・パラメータを使用することを含む、請求項１記載の方法。
13. 前記ステップｅ）は、選択された区間内に含まれる複数の距離値に対応する複数のボケ・パラメータから結果として得られる複数のボケ補正された画像を合成することを含む、請求項１記載の方法。
14. 空間-周波数に依存した重み付け基準に従って、前記複数のボケ補正された画像を合成することをさらに含む、請求項１３記載の方法。
15. デジタル・カメラ・システムであって、
    ａ）撮影シーンの一つ以上の画像を撮影する画像センサ；
    ｂ）前記画像センサの上に前記撮影シーンを結像するためのレンズ部；
    ｃ）符号化開口；
    ｄ）距離較正データから導出された複数のボケ・パラメータの組を記憶させるためのプロセッサによりアクセス可能なメモリ；
    ｅ）撮影された画像と前記記憶された組からの前記ボケ・パラメータの各々を使用してボケを補正した画像の組を提供するためのデータ処理システムであって、
    i)ボケが補正された画像の候補を初期化する動作と、
    ii)前記ボケが補正された画像の候補内において隣接する画素間の差分を表している複数の差分画像を決定する動作と、
    iii)前記複数の差分画像を合成することにより合成差分画像を決定する動作と、
    iv)前記撮影された画像、前記ボケ・パラメータ、前記ボケが補正された画像の候補および前記合成差分画像に応じて、前記ボケが補正された画像の候補を更新する動作と、
    v)収束条件が満たされるまで上記i)からiv)までの動作を反復実行する動作と、
    vi)前記ボケが補正された画像の前記組を使用して、前記撮影シーン内の前記複数の対象物に関する前記距離情報を決定する動作と、
    を実行することにより、前記ボケを補正した画像の組を前記提供するデータ処理システム；
    を備えるデジタル・カメラ・システム。

Images