JP2004502997A - ベイジアンフレームワークにおける仮説混合による深度マップの生成 - Google Patents

Abstract

本発明は確率のベイジアンフレームワークにおける複数の仮説深度マップの反復混合による、最適化された深度マップの生成のためのシステムおよび方法を目的としている。当該システムはまず基準画像の深度マップを推定し、該推定された深度マップが現在の深度マップとなる。該システムは、いくつかの既知の深度マップ生成方法およびアルゴリズムから導かれる、基準画像の複数の仮説深度マップを利用できる。現在の深度マップおよび各仮説深度マップは、基準画像ピクセルへの深度マップ値の最適な割り当てを計算するために、ベイジアン確率フレームワーク内のグラフカット処理により、再投影および不連続エネルギーを最小化することに基づいて、一度にピクセルまたはピクセル対を反復して比較される。この処理において、２つの深度マップは基準画像をより良く表示する深度マップに混合され、混合された深度マップは新たに現在の深度マップとなる。最適化または混合の処理は、各ピクセルまたは各ピクセルグループに対する深度マップ値の差異が所望の最小値に達すると終了する。

Description

【０００１】
（関連出願の相互参照）
本特許出願は、本明細書に包含する２０００年６月２８日出願の合衆国予備出願Ｎｏ．６０／２１４７９２を基礎とし、およびその優先権を主張する。
（本発明の技術分野）
本発明は、概して較正された画像の整合により深度マップを推定するためのシステムに関し、特に既知の基準画像データおよび基準画像データを使用した深度マップの確率にベイジアンフレームワークを応用することにより深度マップ推定の精度を向上させるためのシステムに関する。
【０００２】
（背景情報）
コンピュータ支援画像は、コンピュータの処理およびデータ操作能力の補助により２つ以上のデジタル化された２次元画像から、端末スクリーンまたはグラフィカルユーザインターフェース上に、物体または景色の新たな２次元または３次元画像を表現する処理である。２次元（以後「２Ｄ」）画像からの３次元（以後「３Ｄ」）モデルの構成は、もともとは有限の数の２Ｄ画像によって表現された物体または景色のグラフィカル３Ｄモデルを処理の目標とする、例えばコンピュータ支援デザイン（以後「ＣＡＤ」）、３Ｄ通信販売およびバーチャルリアリティーシステムで使用される。コンピュータグラフィックスまたはコンピュータビジョンを使用することで、３Ｄモデルが構成されるもととなる２Ｄ画像は、物体又は景色の周りの異なる視点または位置から知覚された物体または景色を表現している。該画像は、物体または景色の周辺に配設した複数のカメラか、物体の写真または画像のビデオストリームを記録する、物体の周りを移動する単一のカメラから得られる。２Ｄ画像内の情報は、コンピュータベースのグラフィカル３Ｄモデルを合成するために結合および対比される。近年のコンピュータ処理能力およびデータ操作能力の進歩はコンピュータによる３Ｄモデリングを改善したが、これら３Ｄ構築システムは依然として、大きなコンピュータ処理能力、巨大なデータ記憶要求、および長い処理時間の需要により特徴づけられる。さらに、グラフィカル３Ｄモデルのような空間の体積表現は、３Ｄモデルと第２の３Ｄモデルとの結合または、新たな視点または投影中心からの空間知覚のような動的な変形に対応して容易に修正することができない。
【０００３】
通常、複数の視点またはカメラ位置からの３Ｄ画像を構成するには、まず、カメラで撮った画像が、画像によって表現された物体または景色を適切な３Ｄに再構成するために正確に結合されるように、カメラの較正が必要である。カメラまたはカメラ位置の較正は、画像を収集する各位置または視点でのカメラパラメータを獲得または計算する工程であり、そのようなパラメータにはカメラの焦点距離、画角、ポーズおよび方向などの情報が含まれる。較正情報が容易に利用できない場合、多数の較正アルゴリズムが較正情報を計算するために利用できる。あるいは、較正情報が欠けている場合、いくつかの画像再構成方法により、カメラまたは視点がある位置から他の位置へ移動するような場合のカメラ位置の較正を推定することができる。しかしながら、較正の推定では３Ｄグラフィカルモデル描写過程で付加的な変数を導入し、これが出力グラフィックを不正確にする原因となる。さらに、カメラの視野の較正には、カメラの動きおよび／または方向を事前に把握しておくことが必ず必要となるので、新たな位置へ較正された視点を外挿することにより３Ｄモデルの構成に利用できるビューまたは画像が限定される。
【０００４】
多重視点から物体のグラフィカル３Ｄモデルを再構成する現在の方法は、ステレオマッピングとして知られる、一度に物体の一対の画像を用いる処理であり、該処理では、物体の合成画像を生成するために２つの画像間の対応が計算される。しかしながら、物体の２つの視点のみから再生された形状情報は完全でもなく正確でもない。そのためにしばしば３Ｄモデルの形状を精緻化するためにさらなる視点からの画像を組み入れる必要がある。さらに、一部のグラフィカルシステム内では、画像または較正データにおいて既知の、または認知された誤りを調整するために、１つ以上の画像の重み付け、ワープ、および／または混合により、ステレオマップされた３Ｄモデルの形状を操作することが多い。しかしながら、そのような操作はマニュアル処理であり、合成グラフィカル画像の自動計算に限界があるだけでなく、重み付け、ワープ、および／または混合の適当なレベルを推定するときに誤差が導入される危険性がある。
【０００５】
物体または景色の新たな２Ｄ図および３Ｄモデルを描写するため、近年、深度マップ形式のグラフィカルな画像がステレオマッッピングに応用されている。深度マップは空間の表面を数学的に表現する値の２次元配列である。該配列の列および行は表面のｘ座標およびｙ座標上の位置情報に対応し、配列要素は特定の点またはカメラ位置から表面への深度または距離の読みである。深度マップは、物体表面の各点における強度および色情報、またはピクセルを深度情報に置き換えて、物体のグレースケール画像として表現され得る。それに応じて、表面の点は３Ｄグラフィック構成技術においてはピクセルと呼ばれ、本明細書の中では交換可能に使用される。
【０００６】
物体のグラフィカルな表現は、一度に較正された１対の図を用いて、ステレオマッピングされた深度マップにより推定することができる。ステレオ深度マッピングでは、通常、２つのマップ内のピクセルに対して共通深度値を見つけるためにセクション間の整合を見つけるため、一度に２つの深度マップのセクションを比較する。しかしながら、推定された深度マップはいつも誤差を含んでいるので、マップが互いに一致し、必要な箇所で整合がとれるという保証はない。１つの悪いデータまたは誤差のあるデータの影響を最小にするために多数のデータが有効であるが、不特定多数の深度マップは誤った較正、不正確な重み付け、または特定のビューの値に関する推測による誤差を含み、深度マップ内のあらゆる誤差が最終的な合成画像へ投影されるため、同じ原理を深度マップへ応用することはできない。さらに、深度マップによる従来式のステレオマッピング法は、１つの深度マップを推定する時点で精緻化処理を終了する。
【０００７】
基準画像または、物体または景色の所望の画像の深度マップの良好な推定を決定するための他の方法は、特定の推定された深度マップから良好な深度マップを生成するために確率を応用することである。特に、既存の推定された深度マップと基準画像に関連した既知の要素をベイジアンフレームワークに適用し、元の推定された深度マップより正確となるように推定された深度マップを精緻化するために、最も確率の高い、または帰納的最大確率（以後「ＭＡＰ」とする）の解を導く。
【０００８】
以下に示すベイジアンフレームワークは、ベイジアン仮説確率を利用して精緻化した推定された深度マップを計算するために利用されるパラメータを表している。既知の入力値を使用することにより、その結果は元の深度マップより正確である。ここで、既知の値は画像の推定された深度マップ、基準画像情報、および画像ビューの較正情報を含む。基準画像Ｄおよび事前情報Ｉ（較正情報、カメラポーズ、画像のワールド状態についての仮定、その他）を特定した場合の、深度マップＺが正確である確率は、以下の式で表すことができる。
【数１】

ここで、ｄ_１は基準画像、およびＤ^〜は画像を表している。帰納的最大確率の解は以下の式で定義される。
【数２】

【０００９】
項
【数３】

は基準画像を特定した場合の深度マップＺの確率である。項
【数４】

は第１画像およびそれに対応する深度マップを特定した場合の残りの画像の確率である。該確率計算式は、該式をエネルギー方程式と見なし、エネルギーコストを最小にするように該エネルギー方程式を解くことにより解くことができる。上式はエネルギー領域内に
【数５】

とおくことができる。
【００１０】
逆（負の）確率の対数それぞれはエネルギー項
【数６】

および
【数７】

に対応している。ここで、
【数８】

は再投影誤差の目安を表し、
【数９】

は仮説深度マップの不連続誤差の目安を表している。該再投影誤差は各個々のピクセルからの誤差の寄与の和を表している。式を対数へ変換することの利点は、有効なコンピュータ処理内の乗算において、それぞれの確率および対応する精度の問題に関連する微小な数を回避することができることである。
【００１１】
再投影誤差に関連する確率は、仮説深度マップ内の各ピクセルの再投影要素の分布を調べることによって評価される。特に、各ピクセルの再投影要素の周波数関数は汚染された３次元ガウシアン分布
【数１０】

として表現される。この式は、仮説深度マップが基準画像の純粋な再生成である場合、理想的な分布の近傍の３つのピクセル投影値の分布を表す。Ｙ，Ｕ，Ｖはピクセルの輝度およびクロミナンス色要素であり、Ｙ，Ｕ，およびＶは、基準画像を特定した場合の、ピクセルのそれぞれの理想要素値を表す。Ｐ_０は、再投影されたピクセルが隠蔽、鏡面反射、較正誤差、その他のため重大に異なる確率である。２５６は有用なスペクトラム内の色数を表し、分布式は色の３つの要素、すなわちＹ，Ｕ，およびＶを評価しているため、３で累乗される。ｅは自然対数の底２．７２である。σは、ピクセルに一様分布を割り当てた場合の、再投影要素のノルム周辺の標準偏差の目安を表す。ガウシアン分布の確率をエネルギー問題として見ると、エネルギー項
【数１１】

は基準画像内の全ピクセルのピクセル投影エネルギーの和
【数１２】

と見なすことができる。
【００１２】
推定された深度マップと仮説深度マップ間の不連続エネルギー
【数１３】

は、図１で示したように、画像内の連結する４つのピクセル隣接点１００−１０６の全ての対からの誤差の寄与からなる。輝度Ｙなどの基準画像のピクセル１００の要素内の対応する不連続性が特定された場合、各ピクセルの深度領域内の不連続の確率はより大きい。これは隣接または近隣するピクセルは類似の特徴および特性を持つ傾向があるという原理に由来する。ピクセル１００とピクセル１０２間の輝度の不連続をｈ１１０で表す。これはピクセル１００と１０２間の水平方向の結合と見なすこともできる。この結合間を絶縁するのに必要なエネルギーが小さいほど、ピクセル１００と１０２間の不連続性は小さい。同様に、ｖ１１４はピクセル１００と隣のピクセル１０４間の垂直方向の結合を示している。例えば、グラジエント▽Ｙ＝［Ｙ_ｘＹ_ｙ］（_ｘおよび_ｙはピクセル１００の座標を表す。）が大きい場合、ピクセル１００と１０４間の任意の不連続性は、不連続エネルギーのより小さな寄与によってモデル化できる。これを達成するために、隣接するピクセル１０２および１０４との間の水平結合１１０および垂直結合１１４に対応する２つのエネルギー係数ｃ_ｈおよびｃ_ｖを使用する。ピクセル要素Ｙのグラジエントとして表されるこれらの結合のエネルギーは
【数１４】

として表される。ここでαは実験により決定された重みであり、ｚ_１とｚ_２は結合に関係する隣接ピクセルの深度値であり、距離値Ｖはメトリックである（不等三角形を満足する）。該エネルギー係数は以下の式で決定される。
【数１５】

ここで、
【数１６】

が導かれた適切な関数である。これらの関係の基本は、長さｌの直線として形状される不連続性は、輝度グラジエント▽Ｙが該直線に垂直である場合、水平結合（近似値）
【数１７】

および垂直結合（近似値）
【数１８】

と交差する。従って、その様な不連続の負担は
【数１９】

に比例し、よって不連続の方位に無関係である。画像の量をベクトルで表すことによって、輝度およびクロミナンス要素は下記の式２０のようになる。
【数２０】

エネルギー係数は下記の式２１に一般化される。
【数２１】

ここで、Ｊ＝［Ｗ_ｘＷ_ｙ］は３×２のヤコビヤン行列導関数であり、座標_ｘおよび_ｙを有するピクセル周囲の色強度の変化の度合いの目安となる。該行列のノルムは、
【数２２】

である。導出された関数ｆ（ｘ）は、‖Ｊ‖により不連続のエネルギーがどのように変化するかを決定する。ここでｆ（ｘ）を
【数２３】

とおく。定数ａ_ｍｉｎは不連続の最小コストである。さらにメトリックＶは、
【数２４】

とおくことができる。ここで、Ｔ_ｄは不連続と判断する閾値であり、ｕ_１およびｕ_２は深度マップ値から計算された第１のビュー以外のビューの相違である。ｕ_１およびｕ_２は、異なる深度値に対応する特定の第１のビューの背景に投影された光線に沿うピクセルである。これらのピクセルは第１のビュー内の共通点と見なされるが、他の観点から見ると間の距離を有した離れた点であり、間にいくらかの不連続性を有する離れたピクセルである。
【００１３】
上述のエネルギー関数を解くことによりピクセル単位で最良の深度マップ値を探索する、最近考案された方法では、グラフカットを使用する。このとき、基準画像に対する投影の中心からの光線に沿う各反復では、ここまでに達成された深度マップの解が平面内の固定深度値に対して検査され、最終的な解は画像のあらゆるピクセルで深度マップ値を固定できる。次いで基準画像の全ての深度値を最適値が見つかるまで検討する。しかしながら、予定する深度マップの数が多いとき、および使用される仮説深度マップが所望の深度マップに殆ど類似していないとき、その様な方法で全ての深度マップの値を検査するには法外な時間がかかり、所定の精度の深度マップに集束させることが必ずしもできない。
【００１４】
本発明の好適な実施例は、推定された深度マップおよび１つ以上の仮説深度マップから物体または景色の基準画像の最適化された深度マップを導くための既存のシステムに関連した問題を克服する。
【００１５】
（発明の要旨）
本発明は、確率のベイジアンフレームワーク内で複数の仮説深度マップを反復混合することにより、最適化された深度マップを生成するためのシステムおよび方法を目的としている。当該システムはまず基準画像の深度マップを推定し、該推定された深度マップが現在の深度マップとなる。該システムは、いくつかの既知の深度マップ生成方法およびアルゴリズムから導かれる、基準画像の複数の仮説深度マップを利用できる。各仮説深度マップは、システムで利用できる基準、方向性、および較正情報が与えられて、基準画像の妥当な近似である複雑な深度マップを表す。現在の深度マップおよび各仮説深度マップを、一度に１つまたは２つのピクセルについて反復して比較し、ベイジアンフレームワークを元にして、当該ピクセルにおいて仮説深度マップが現在の深度マップより基準画像の表現に近い確率を計算する。画像をより正確に表現する確率が高いと判明した該深度マップ値は、現在の深度マップに使用するために選択される。この処理では２つの深度マップは画像をより正確に表現する１つの深度マップに混合され、該混合された深度マップが新しい現在の深度マップとなる。確率は、結果的に得られる深度マップ内の不連続エネルギーおよび再投影エネルギーを最小にする目的に基づいて決定される。これらのエネルギーは、各ピクセルにおける２つの可能な深度マップ値候補間の可能な深度マップグラフカット構成を比較するという処理を通して最小化される。最適化または混合処理は、各ピクセルまたは各ピクセルグループにおける深度マップ値間の差が所望の最小値に達したとき終了する。
【００１６】
本発明の１つの実施形態において、本発明のシステムと方法は、一度に２つの深度マップを使って複数の深度マップを混合することにより、基準画像の深度マップ推定の最適化を行うもので、基準画像の隣接する２つのピクセルをそれぞれ２つの異なる深度マップに割り当てる再投影エネルギーを計算することと、基準画像の隣接する各ピクセルそれぞれに関連する不連続エネルギー、および基準画像の隣接するピクセル間のエッジに関連した不連続エネルギーを計算することと、隣接するピクセルおよび計算された再投影エネルギーおよび不連続エネルギーが特定された後、２つの異なる深度マップ間の最小グラフカットに基づき、２つの隣接したピクセルに対して深度マップ値を割り当てることとを含む。
【００１７】
本発明の他の実施形態では、本発明のシステムと方法は、一度に２つの深度マップを使用して複数の深度マップを混合することにより、基準画像の深度マップの推定を行うもので、基準画像の特定のビューの現在の深度マップを推定することと、導出された基準画像の複数の仮説深度マップそれぞれに対して、仮説深度マップ上のピクセルに対応する現在の深度マップ上の各ピクセルに対し、仮説深度マップ上のピクセルの深度マップ値と現在の深度マップ上のピクセルの深度マップ値とを比較し、 比較された仮説深度マップ上のピクセルの深度マップ値が、現在の深度マップ上のピクセルの深度マップ値より基準画像を正確に表現する確率が高い場合、現在の深度マップ上のピクセルの深度マップ値を対応する仮説深度マップ上のピクセルの深度マップ値に置き換えることを含む。
【００１８】
本発明の他のさらなる実施形態では、本発明のシステムと方法は、物体の基準画像の深度マップ推定の最適化を行うもので、物体の基準画像の所望のビューの第１の深度マップを推定することと、導出された基準画像の複数の仮説深度マップそれぞれに対して、第１の深度マップと導出された仮説深度マップ両方のすべてのピクセルに対し、２つの深度マップ間の最適なピクセルを決定するためにベイジアン確率フレームワークを適用し、その時該決定は隣り合うピクセル対間のグラフカットに関連するエネルギーコストを最小にすることによって達成することと、第１の深度マップ内の深度マップ値を最適な深度マップ値に置き換えることとを含む。
【００１９】
本発明のこれらおよび他の目的と利点は、添付の図面を参照しながら以下に記載する本発明の好適な実施例の詳細な説明から当業者は明確且つ容易に理解できる。図中、同様の要素には同じ参照番号を使用する。
【００２０】
（好ましい実施例の詳細な記載）
後述では、限定ではなく説明を目的として、本発明の理解のために特定の実施例について詳細な説明を行う。しかしながら、当業者には明白であるように、本発明は以下の詳細な実施例とは別の実施例においても実行することができる。他の実施例において、既知の方法、装置、および回路の詳細な記載は本発明を明確にするために省略する。
【００２１】
本発明は、仮想的にあらゆる物体または景色の基準画像の最適化された深度マップを導出するために利用することができるが、以下の議論では本発明の実施例の説明を単純にするためにそのようなすべての画像を「物体」の画像と称する。本発明のすべての実施例は既知のビューの、または投影の中心から捉えた物体の基準画像の推定された深度マップから開始される。推定された深度マップは深度マップを推定または導出するための複数の既知の方法のうち１つから導出される。第２に画像の仮説深度マップを導出するが、第２の深度マップも、複数の既知の深度マップの導出方法のうちの１つから導出される。好ましくは、第２の深度マップは、基準画像に数学的に適切に近似する複合型の多面深度マップである。そのような近似の深度マップは、本発明で所望の最小の不連続に収束する最適化された深度マップを導出するために必須ではないが、そのような近似を用いることにより本発明の処理は最小化される。本発明において、複合仮説マップとベイジアン確率フレームワークを組み合わせることは、深度マップ値の空間コヒーレンスを利用しながら基準画像内に自然に存在する深度不連続を保存するという利点を有する。
【００２２】
本発明の好ましい実施例では、一度に２つの深度マップを高い事後確率を有する１つの合致する深度マップに混合するベイジアンフレームワークの再投影エネルギーおよび不連続エネルギーを最小化するために、基準画像ピクセル対に対してグラフカットを利用する。基準画像の少なくともサブ領域全体にわたり、推定された深度マップ全体（ｆ（ｘ）と表す）および付加的な仮説深度マップ（ｇ（ｘ）と表す）が特定された場合の処理は、最適な深度マップ値を推定された深度マップｆ（ｘ）に反復的に混合する。混合された解は、仮説深度マップの集合全体の帰納的最大確率解であり、これは基準画像内のいずれのピクセルの位置ｘ_ｉについても、対応する基準画像のピクセルをより正確に表示する深度マップ値として深度マップ値ｆ（ｘ_ｉ）または深度マップ値ｇ（ｘ_ｉ）を予測する。
【００２３】
図２には、例えば２５ピクセルから構成され、頂点２０４、２０６、２０８、および２１０のピクセルによって特徴づけられる基準画像セグメントが示されている。ソースｖ_＋２００は導出された仮説深度マップｇ（ｘ）を表しており、シンクｖ₋２０２は推定された深度マップｆ（ｘ）を示している。ピクセル単位で、深度マップｆ（ｘ）とｇ（ｘ）との間で確率が高い方の深度マップ値を決定することは、グラフＧ＝＜Ｖ，Ｅ＞上の最小グラフカットＣを探すことによるエネルギー最小化処理を通して達成される。ここで頂点の集合
【数２５】

は図２に示したピクセルの集合にソースｖ_＋２００およびシンクｖ₋２０２を足したものである。グラフカットＣは、シンクｖ₋２０２またはソースｖ_＋２００のどちらにピクセルを割り当てるかを決定することによって基準画像の各ピクセルにｆ（ｘ_ｉ）またはｇ（ｘ_ｉ）いずれかの深度マップ値を分配することにより、シンクｖ₋２０２からソースｖ_＋２００を分離する役割を果たす。最小グラフカットＣは、以下により詳細に議論されるように、カット、または破壊、端部重みの和が最小になるように、図２のピクセルによって表現されたグラフを通過する。
【００２４】
ピクセルａ２０４などの各ピクセルは、ソースｖ_＋２００方向のエッジ（エッジ２１２）と、シンクｖ₋２０２方向のエッジ（エッジ２１４）と、および少なくとも１つの隣り合うピクセルｂ２１６方向のエッジ２２２のような少なくとも１つのエッジの方向に接続される。これら各エッジは２つのピクセル間の不連続の目安を示すエネルギーまたは重みを有している。グラフのエッジ重みは、ピクセルｘ_ｉがカットグラフ
【数２６】

内のシンクｖ₋２０２へ接続する場合、深度マップ値ｆ（ｘ_ｉ）がピクセルｘ_ｉと関連し、そうでない場合は深度マップ値ｇ（ｘ_ｉ）がピクセルｘ_ｉと関連するように定義される。図４を簡単に参照すると、隣接する、または隣り合うピクセル対ａ２０４およびｂ２１６を深度マップｆ（ｘ）またはｇ（ｘ）へ割り当てることに関連したエネルギーが示されている。例えば、ピクセルａ２０４およびシンクｖ₋２０２間の結合は、深度マップｇ（ｘ）に関連したピクセルａ２０４とソースｖ_＋２００間のエッジまたはリンクの破壊に要求されるエネルギーを表すため、深度マップｆ（ｘ）にピクセルａ２０４を割り当てることに関連するエッジ重み、またはエネルギーコストが、ａ_ｇ４０２として示されている。【００２５】
次に、図２および３を参照すると、近隣ピクセルａ２０４およびｂ２１６の対に対するカットグラフには、図３ａ、３ｂ、３ｃおよび３ｄにそれぞれ示したように（ｆ、ｆ）、（ｆ、ｇ）、（ｇ、ｆ）および（ｇ，ｇ）の仮説割り当てに対応する４つの可能な構成がある。図３ａは、シンクｖ₋２０２において推定された深度マップｆ（ｘ）へピクセルａ２０４およびｂ２１６の両方を割り当てることを示している。この割り当てを図３ａに示し、図中ピクセルａ２０４およびｂ２１６と、ソースｖ_＋２００間のエッジまたは結合が破壊されている。図３ｂはシンクｖ₋２０２および深度マップｆ（ｘ）へピクセルａ２０４を割り当てること、およびソースｖ_＋２００へピクセルｂ２１６を割り当てることを示している。ゆえに、図３ｂで示された深度値の割り当ては、推定された深度マップｆ（ｘ）から対応する深度マップ値が基準画像のピクセルａ２０４に割り当てられており、および仮説深度マップｇ（ｘ）から対応する深度マップ値が基準画像のピクセルｂ２１６に割り当てられていることを意味する。同様に、図３ｃは、ソースｖ_＋２００へピクセルａ２０４を割り当てることと、およびシンクｖ₋２０２へピクセルｂ２１６を割り当てることを示しており、図３ｄはソースｖ_＋２００へピクセルａ２０４およびｂ２１６両方を割り当てることを示している。
【００２６】
４つの可能な割り当てのうち各ピクセル対に最適な１つの割り当てを決定することは、各割り当てに関連したエネルギーコストを最小にすることに基づいている。前記割り当てにより、割り当てによって破壊されるエッジまたは結合の破壊に関連して、複数の個々のエネルギーコストが必然的に必要となる。本発明の目的は、割り当てに加えてこれら構成のすべてに対する定数に関連したエネルギーに等価なエッジ削除のコストの和を有することである。これは、４つの構成それぞれに対する不連続エネルギーＥ_ｄが不等式Ｅ_ｄ（ｆ，ｆ）＋Ｅ_ｄ（ｇ，ｇ）≦Ｅ_ｄ（ｆ，ｇ）＋Ｅ_ｄ（ｇ，ｆ）を満たす場合に可能となる。ここでＥ_ｄ（ｆ，ｇ）は図３ｂによって示されており、ｆ（ｘ）へピクセル対の第１のピクセルを、およびｇ（ｘ）へ第２のピクセルを割り当てることに関連した不連続エネルギーを意味し、特に、ピクセルａ２０４とソースｖ_＋２００間の結合の破壊、およびピクセルｂ２１６とシンクｖ₋２０２間の結合の破壊のコストの和を表す。図３ｂおよび３ｃによって示された割り当てはまた、ピクセルａ２０４とｂ２１６間のエッジの破壊のコストを付加的に有することに注目されたい。さらに、不連続エネルギーＥ_ｄは測定基準とするための三角不等式を満足する。さらに、深度マップｇ（ｘ）は連続であると仮定されており、これは近似Ｅ_ｄ（ｇ，ｇ）≒０であることを意味し、必要な不等式を少なくとも近似的に満足する。ここで図４を参照する。ピクセルとソースｖ_＋２００およびシンクｖ₋２０２および互い（図４のｃ４０８）間のエッジの重みを計算するために、本発明によるシステムは、ａ_ｆ４００として示されたｆ（ｘ）へのａ２０４の割り当ての再投影エネルギーＥ_ｒとして、ピクセルａ２０４からソースｖ_＋２００へのエッジの重み（エッジ２１２）、またはエネルギーをまず計算する。同様に、ｂ_ｆ４０６として示されたピクセルｂ２１６からソースｖ_＋２００へのエッジも計算する。同様に、ピクセルａおよびｂに対して、ａ２０４およびｂ２１６からシンクｖ₋２０２への各エッジの重みは、それぞれａ_ｇ４０２およびｂ_ｇ４０４として定義された、ｇ（ｘ）へａ２０４およびｂ２１６を割り当てる再投影エネルギーに設定される。
【００２７】
ピクセル頂点ａ２０４およびｂ２１６のすべての隣り合う対に対する不連続エネルギーは以下のように計算される。上述のように、第１および第２のピクセルａ２０４およびｂ２１６からｖ_＋２００へのエッジの重みは、ａ_ｆ４００およびｂ_ｆ４０６によってそれぞれ示される。同様に、第１および第２のピクセルａ２０４およびｂ２１６からｖ₋２０２へのエッジの重みはａ_ｇ４０２およびｂ_ｇ４０４によってそれぞれ示される。最後に、第１および第２のピクセルａ２０４およびｂ２１６間のエッジの重みはｃ４０８によって示される。
３つの不連続エネルギー値を下の式により計算する。
【数２７】

【００２８】
以下のように計算された不連続エネルギーに対する再投影エネルギーの調節は以下のように行う。すなわち、ピクセル対間のエッジへの計算されたエネルギー値内の因子として、ｍ_１をｃへ加える。
【００２９】
ピクセルａ２０４に関連した再投影エネルギーに計算された不連続エネルギー値内の因子として、
ｍ_２＞０ならば、ｍ_２をａ_ｆへ加え、
そうでなければ　−ｍ_２をａ_ｇへ加える。
【００３０】
ピクセルｂ２１６に関連した再投影エネルギーに計算された不連続エネルギー値内の因子として、
ｍ_３＞０ならば、ｍ_３をｂ_ｆへ加え、
そうでなければ　−ｍ_３をｂ_ｇへ加える。
【００３１】
図３ａ、３ｂ、３ｃおよび３ｄによってそれぞれ示されたように４つの可能な各割り当てに関連するエネルギーコストの和は、以下の式で決定される。
Ｅ_ａ＝ａ_ｇ＋ｂ_ｇ
Ｅ_ｂ＝ａ_ｇ＋ｂ_ｆ＋ｃ
Ｅ_ｃ＝ａ_ｆ＋ｂ_ｇ＋ｃ
Ｅ_ｄ＝ａ_ｆ＋ｂ_ｆ
【００３２】
Ｅ_ａ−Ｅ_ｄのエネルギー値を最小にする構成は、グラフの最小カット、およびそれによって深度マップｆ（ｘ）およびｇ（ｘ）に対するピクセルａ２０４およびｂ２１６の最適な割り当てを示す。この処理を基準画像内の隣り合う対のすべてについて反復し、２つの深度マップｆ（ｘ）およびｇ（ｘ）を最適化された深度マップｆ（ｘ）に混合する。この処理はピクセル対すべてを完全に反復している間に深度マップ関連の変化が起こらなく（または最小限の変化に）なるまで繰り返すことができる。結果は１つの深度マップ内へ２つの深度マップｆ（ｘ）およびｇ（ｘ）の最適な混合に対応する総エネルギーの極小である。すべてのピクセル対が上述のグラフカット最小化処理を通して処理されると、新しい仮説深度マップｇ（ｘ）は多数の既知の深度マップ導出法のうち１つから導出され、部分的に最適化された現在の深度マップｆ（ｘ）に対して最適化処理が続行される。本発明の好適な実施例では、導出された仮説深度マップは、最適な深度マップに収束するようにスピードを増加させて基準画像に適正に近似する複合型の非平面深度マップである。処理された各仮説深度マップは、本発明の最適化処理における１回の反復と見なすことができる。最適化処理の進行中には、各ピクセルまたはピクセルの各グループに対する深度マップ値間の相対的な変化を計算し保存することができる。変動が変化の所定の最小値に達すると、最適化処理は有限数の段階を経て収束最適化された深度マップへの収束が達成されて終了する。次いで、結果として最適化された深度マップｆ（ｘ）は、多数のコンピュータグラフィックスおよびコンピュータ映像アプリケーション内で基準画像の最適化された深度マップ表示として利用するために保存および／または出力される。
【００３３】
上で簡単に説明したように、本発明の他の実施例では、２つの深度マップを、一度に１対のピクセル単位で混合する最適化処理は、基準画像のピクセルの全部にわたって多数回反復することができる。本発明のこの形態では、全ての基準画像ピクセルが一度処理されてしまうと新しい仮説深度マップは導出されない。そのかわりに、基準画像のピクセルの集合が、一度に一対のピクセル対単位で、反復の付加的レベルとして複数回にわたって処理され、混合された深度マップの改良の度合いが所定の最小値に到達すると、新たな仮説深度マップが導出される。処理が再開されると、該混合された深度マップが推定された深度マップになる。
【００３４】
次に図５を参照すると、本発明による例示的深度マップ最適化システムの装置および通信リンクが示されている。図５の要素は本発明の方法で利用される装置およびデータまたは通信経路の例示を目的としており、限定的なものではない。プロセッサ５００は、最適な深度マップへ２つの深度マップを反復して混合する操作ができる本発明のシステムと方法が動作できる１つ以上のコンピュータを示している。本発明の様々な機能的側面および、第１、第２、第３、第４および第５のプロセッサ、すなわち比較装置、置換装置のような、最適化された深度マップを計算するためのシステムに対応する装置部分は、単一のプロセッサ５００内に存在することができ、または複数のプロセッサ５００および記憶装置５０２の中に分散させることができる。
【００３５】
最適化された深度マップがプロセッサ５００によって計算され、データベース５０２上に記憶されると、プロセッサ５００を操作する権限のあるあらゆる多数のユーザによって利用することができる。これらユーザはプロセッサ５００のスクリーンまたはグラフィカルユーザインターフェース上に最適化された深度マップの２Ｄ表示を表示することができ、および／または該２Ｄ表示をプリンタ５０４で印刷することができる。
【００３６】
本発明の好適な実施例を示し記載したが、当業者には本発明の原理と思想から逸脱することなくこれらの実施例を容易に変更することが可能であることは明白であり、本発明の範囲は請求項および同等物で定義される。
【図面の簡単な説明】
【図１】図１は、基準画像内の近隣ピクセル間の水平および垂直不連続エネルギー結合を示している。
【図２】図２は、隣接するピクセルを含む深度マップの一部を示している。
【図３】図３ａ、３ｂ、３ｃおよび３ｄは、２つの隣接するピクセル間の特定の不連続を有する異なるグラフカットを示している。
【図４】図４は、近隣ピクセル対間の不連続エネルギーに関連したエッジ重みを示している。
【図５】図５は、例示的深度マップ最適化システムの装置および通信リンクを示している。

Claims (23)

1. 一度に２つの深度マップを使用し、複数の深度マップを混合して基準画像の深度マップの推定を最適化するための方法であって、
   ２つの異なる深度マップへ、基準画像の隣接する２つのピクセルそれぞれを割り当てる再投影エネルギーを計算することと、
   基準画像の隣接するピクセルそれぞれに関連した不連続エネルギー、および基準画像の隣接するピクセルの間のエッジに関連する不連続エネルギーを計算することと、
   隣接するピクセルおよび計算された再投影および不連続エネルギーが特定された後、２つの異なる深度マップ間の最小グラフカットに基づいて２つの隣接するピクセルに対して深度マップを割り当てることとを含む方法。
2. 深度マップ値を割り当てる段階は、
   計算された不連続エネルギーで計算された再投影エネルギーを調節することと、
   隣接するピクセルへの２つの異なる深度マップの割り当てに関連したエネルギーコストを決定することと、
   隣接するピクセルへの２つの異なる深度マップの割り当てに関連する最小エネルギーコストに基づき、２つの隣接するピクセルに対して深度マップ値を割り当てることとを更に含む、請求項１に記載の方法。
3. ２つの異なる深度マップは、第１の推定された深度マップと、第２の仮説深度マップからなり、深度マップ値を割り当てる段階は、続いて最適化を繰り返す際に第１の推定された深度マップとなる第３の最適化された深度マップを生成するために、第１の推定された深度マップの深度マップ値を置換することを含む、請求項１に記載の方法。
4. 第２の仮説深度マップは複合型の非平面深度マップであることを特徴とする請求項３に記載の方法。
5. ２つの隣接するピクセルは、隣り合うピクセル対を構成することを特徴とする請求項３に記載の方法。
6. 再投影エネルギーを計算する段階、不連続エネルギーを計算する段階、および基準画像の各ピクセル対に深度マップ値を割り当てる段階を、基準画像のピクセル対の集合の各反復で割り当てられる深度マップ値間の差異が所定の最小値に達するまで繰り返すことをさらに含む、請求項５に記載の方法。
7. 基準画像ピクセル対の集合の各反復で割り当てられる深度マップ値間の差異が所定の最小値に達すると、さらなる処理のための新しい第２の仮説深度マップを導出することを含む請求項６に記載の方法。
8. 一度に２つの深度マップを使用し、複数の深度マップを混合することにより、基準画像の深度マップを推定するための方法であって、
   基準画像の特定のビューの現在の深度マップを推定することと、
   基準画像の導出された複数の仮説深度マップそれぞれに対して、
   仮説深度マップ上のピクセルに対応する現在の深度マップ上の各ピクセルに対して、現在の深度マップ上のピクセルの深度マップ値と、仮説深度マップ上のピクセルの深度マップ値とを比較し、
   比較された仮説深度マップ上のピクセルの深度マップが、比較された現在の深度マップのピクセルの深度マップ値より基準画像を正確に表現する可能性が高い場合は、現在の深度マップ上のピクセルの深度マップ値を、仮説深度マップ上のピクセルの深度マップ値に置き換えることとを含む方法。
9. 複数の仮説深度マップそれぞれのビューは、少なくとも現在の深度マップのビューのサブ領域を含むことを特徴とする請求項８に記載の方法。
10. １つ以上の複数の仮説深度マップは、複合型の非平面深度マップであることを特徴とする請求項８に記載の方法。
11. 深度マップ値の比較は、現在の深度マップの深度マップ値と導出された仮説深度マップの深度マップ値間の差異が所定の最小値に到達すると終了することを特徴とする請求項８に記載の方法。
12. 深度マップ値の比較は、現在の深度マップの深度マップ値と導出された仮説深度マップの深度マップ値間の差異が所定の最小値に到達するまで、基準画像の全てのピクセルに渡って多数回実行されることを特徴とする請求項８に記載の方法。
13. 基準画像の正確表現の確率が、ベイジアンフレームワークによって決定されることを特徴とする請求項８に記載の方法。
14. 基準画像の正確表現の確率が、エネルギーコストとグラフカットにより決定されることを特徴とする請求項１３に記載の方法。
15. 物体の基準画像の深度マップの推定の最適化を行うための方法であって、
    物体の基準画像の所望のビューの第１の深度マップを推定することと、
    導出された基準画像の複数の仮説深度マップそれぞれに対し、
    第１の深度マップと導出された仮説深度マップ内両方のすべてのピクセルに対して、２つの深度マップ間の最適な深度マップ値を決定するためにベイジアン確率フレームワークを適用し、
    その時前記決定は隣り合うピクセル対間のグラフカットに関連するエネルギーコストを最小にすることによって達成されることと、
    第１の深度マップ内の深度マップ値を、最適な深度マップ値に置き換えることとを含む方法。
16. 一度に２つの深度マップを使用し、複数の深度マップを混合して基準画像の深度マップの推定を最適化するためのシステムであって、
    ２つの異なる深度マップへ基準画像の２つの隣接するピクセルそれぞれを割り当てる再投影エネルギーを計算する第１のプロセッサと、
    基準画像の隣接する各ピクセルそれぞれに関連した不連続エネルギーと、基準画像の隣接するピクセル間のエッジに関連する不連続エネルギーとを計算する第２のプロセッサと、
    隣接するピクセルおよび計算された再投影および不連続エネルギーが特定された後、２つの異なる深度マップ間の最小グラフカットに基づいて２つの隣接するピクセルに対して深度マップ値を割り当てる第３のプロセッサを有するシステム。
17. 第３のプロセッサは、
    計算された不連続エネルギーで、計算された再投影エネルギーを調節する第４のプロセッサと、
    隣接するピクセルへの２つの異なる深度マップの割り当てに関連するエネルギーコストを決定する第５のプロセッサと、
    隣接するピクセルへの２つの異なる深度マップの割り当てに関連する最小エネルギーコストに基づいて、２つの隣接するピクセルに対して深度マップ値を割り当てる置換装置をさらに含む請求項１６に記載のシステム。
18. 一度に２つの深度マップを使用し、複数の深度マップを混合して基準画像の深度マップを推定するためのシステムであって、
    基準画像の特定のビューの現在の深度マップを推定する第１のプロセッサと、　仮説深度マップ上のピクセルに対応する現在の深度マップ上の各ピクセルに対し、
    現在の深度マップ上のピクセルの深度マップ値と仮説深度マップ上のピクセルの深度マップ値とを比較する比較装置と、
    比較された仮説深度マップ上のピクセルの深度マップ値が、比較された現在の深度マップ上のピクセルの深度マップ値よりも、基準画像を正確に表現する確率が高い場合、現在の深度マップ上のピクセルの深度マップ値を、対応する仮説深度マップ上のピクセルの深度マップ値に置き換える置換装置とを有する第３のプロセッサを、基準画像の導出された複数の仮説深度マップそれぞれに対して有する第２のプロセッサとを有しているシステム。
19. 比較装置は、現在の深度マップの深度マップ値と導出された仮説深度マップの深度マップ値間の差異が所定の最小値に到達すると終了する請求項１８に記載のシステム。
20. 比較装置は、現在の深度マップの深度マップ値と導出された仮説深度マップの深度マップ値間の差異が所定の最小値に到達するまで、基準画像の全てのピクセルにわたって深度マップ値を多数回比較する請求項１８に記載のシステム。
21. 基準画像の正確表現の確率が、ベイジアンフレームワークによって決定されることを特徴とする請求項１８に記載のシステム。
22. 基準画像の正確表現の確率が、エネルギーコストとグラフカットにより決定されることを特徴とする請求項２１に記載のシステム。
23. 物体の基準画像の深度マップの推定を最適化するシステムであって、
    物体の基準画像の所望のビューの第１の深度マップを推定する第１のプロセッサと、
    第１の深度マップと導出された仮説深度マップ両方のすべてのピクセルに対して２つの深度マップ間の最適化された深度マップ値を決定するためにベイジアン確率フレームワークを適用し、その際、前記決定を隣り合うピクセル対間のグラフカットに関連するエネルギーコストを最小にすることによって達成する第３のプロセッサと、
    第１の深度マップ内の深度マップ値を最適化された深度マップ値に置き換える置換装置とを、基準画像の導出された複数の仮説深度マップそれぞれに対して有する第２のプロセッサとを有するシステム。

Images