JP2010532036A - 奥行きマップの計算 - Google Patents

Abstract

画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するシステムである。該システムは、現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定する最適化ユニット９０２を有し、上記候補コスト値のうちの少なくとも１つは、現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものである。更に、上記候補コスト値のうちの少なくとも１つは、上記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくものである。選択器９０６は、後者の少なくとも１つのピクセルをランダムに選択する。

Description

本発明は、奥行きマップの計算に関する。

マルチビュー表示装置上で３Ｄ的印象を発生させるためには、異なる仮想視点からの画像がレンダリングされねばならない。このことは、複数の入力ビュー又は何らかの３Ｄ若しくは奥行き情報が供給されることを必要とする。この奥行き情報は、記録することができるか、マルチビューカメラシステムから発生させることができるか、又は通常の２Ｄビデオ題材から発生させることができる。２Ｄビデオから奥行き情報を発生させるために、例えば動きからの構造、フォーカス情報、幾何学形状及び動的遮蔽（dynamic occlusion）等の幾つかのタイプの奥行きの手掛かりを適用することができる。結果としての奥行きマップは、次いで、視聴者（viewer；ビューア）に奥行きの印象を与えるためにマルチビュー画像のレンダリングに使用される。

国際特許出願公開第WO2005/083631号は、画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを発生する方法を開示している。この方法は、当該画像のピクセルのうちの第１のものに関するコスト値を、当該ピクセルのうちの上記第１のものから当該画像のピクセルの所定の部分集合に属する当該ピクセルのうちの第２のものまでの経路上に位置するピクセルの値の間の差を組み合わせることにより計算するステップと、当該ピクセルのうちの上記第１のものに対応する奥行き値のうちの第１のものを上記コスト値に基づいて割り当てるステップとを有する。

引用された上記方法は、下記のような考察に基づいている。即ち、画像化されるべきシーン内のオブジェクトは、異なるサイズ、輝度及び色を有すると共に、特定の空間的配置を有する。斯かるオブジェクトのうちの幾つかは、当該画像内の他のオブジェクトを遮蔽する。画像内のピクセルの輝度及び／又はカラー値の間の差は、オブジェクトの表面の光学的特性の間の差に主に関係すると共に、当該シーン内での光源に対するオブジェクトの空間位置に関係する。表面の光学的特性は、例えば、色及び反射度を含む。従って、輝度及び／又は色の相対的に大きな遷移、又は隣接するピクセルのピクセル値の間の相対的に大きな差は、第１画像部分（セグメント）と第２画像部分との間の遷移に対応し、これによれば、第１画像部分は画像化されているシーン内の第１のオブジェクトに対応し、第２画像部分は該シーン内の第２オブジェクトに対応する。当該画像のピクセルに関して、輝度及び／又は色の遷移の数及び程度、又は各ピクセルから当該画像の所定の位置までの経路上におけるピクセル値の間の差を決定することにより、当該シーン内のオブジェクトの空間配置に関する各目安を得ることができる。これらの目安又はコスト値は、次いで、奥行き値に変換される。この変換は、好ましくは、上記コスト値の所定の定数との乗算である。他の例では、この変換は、所定の範囲の奥行き値に対する、正規化による、各コスト値のマッピングに相当する。尚、背景も１以上のオブジェクト、例えば空又は森又は草地を形成することに注意すべきである。

輝度及び／又は色の遷移に基づく奥行き値は、マルチビュー画像をレンダリングするための奥行き値として直接使用することができる。

奥行きマップを計算するための改善されたシステムを有することが有利であろう。

この問題に対してより良く対処するために、本発明の第１態様においては、画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算することができるシステムであって、該システムが、
現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定する最適化ユニットを有し、
上記候補コスト値のうちの少なくとも１つは、現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
上記候補コスト値のうちの少なくとも１つは、上記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
当該システムが、上記の決定された奥行き関連コスト値に依存して現ピクセルに奥行き値を割り当てる割当器を更に有しているようなシステムが提供される。

本システムは、奥行きの変化は、通常、オブジェクトの境界に対応し、オブジェクトの境界は、通常、カラー属性の変化に対応するという概念に基づくものである。従って、現ピクセルの奥行きは、現ピクセルの局部的近傍におけるピクセルの奥行きと、これらピクセルに関する少なくとも１つのカラー属性に関する差とを考察することにより推定することができる。上記の局部的近傍は、好ましくは、現ピクセルにおいて生じるカラー属性の局部的変化を観察することができるほど十分に該現ピクセルに接近したピクセルを含む。しかしながら、斯かる近傍内のピクセルのみを観察すると、結果的に、非現実的な奥行きマップとなってしまう。何故なら、現ピクセルが当該画像における他の場所でも見えるオブジェクトに属するかを決定することはできず、従って、該オブジェクトの異なる部分には常に同様の奥行き値が割り当てられるとは限らないからである。上記近傍の外側の少なくとも１つのピクセルを考慮することにより、このような状況が改善される。

好ましくは、上述した差は絶対差である。また、好ましくは、前記少なくとも１つのピクセル（上記近傍の内側又は外側の）に関するコスト値は、前記候補コスト値を得るために各絶対差に加算される。

中間ステップとして、奥行き値に関係するコスト関数が決定され、例えば、斯かるコスト関数は奥行きに合致することができるか又は奥行きに逆比例することができる。好ましくは、低いコスト関数がビューアから遠い位置を示す奥行き値に対応する一方、高いコスト関数がビューアに近い位置を示す奥行き値に対応するようにする。

一実施例は、前記局部的近傍の外側の少なくとも１つのピクセルを、画像幅の半分より大きな長さを持つ画像領域にわたる一群の候補からランダムに選択する選択器を有する。この様にして、相対的に少数の現ピクセルを処理した後に、相対的に大きな画像領域にわたるピクセルが考慮されたことになる。

一実施例は、前記局部的近傍の外側の少なくとも１つのピクセルに関するコスト値を、該局部的近傍の外側の少なくとも１つのピクセルの各々に関する各コスト値に基づいて計算する統計ユニット９０８と、前記局部的近傍の外側の少なくとも１つのピクセルに関するカラー属性を、該局部的近傍の外側の少なくとも１つのピクセルの各々に関する各カラー属性に基づいて計算する統計ユニット９１０とを有する。

統計値を用いることにより、ノイズ及び異常値（outliers）の悪影響が低減される。

一実施例は、処理されているピクセルが前記現ピクセルとなるように、前記最適化ユニットに当該画像の順次のピクセルを処理させる反復器９１２を有し、該反復器は当該画像の上部で開始して下方に向かって動作するか、又は当該画像の下部で開始して上方に向かって動作するように構成される。しばしば、画像の配置は、当該画像内で低いほど、オブジェクトがビューアに対して近いようなものであると仮定される。当該画像を上から下に又は下から上に処理する場合、この仮定を満足するような奥行きマップを作成するのは容易である。

一実施例において、上記反復器は、前記最適化ユニットに当該画像の順次の行を、左から右へ及び右から左へと交互に処理させるように構成される。これは、当該画像の左側における奥行き値と右側における奥行き値との間の如何なる望ましくない差をも回避する助けとなる。

一実施例は、前記局部的近傍の外側の少なくとも１つのピクセルを、画像幅の半分より大きな幅を持つ画像領域にまたがる一群の候補からランダムに選択する選択器を有し、上記画像領域は実質的に水平な細片（ストリップ）である。上記のまたげられる画像領域は実質的に水平な細片であるから、全ての候補は当該画像内において略同一の高さを有し、上述した画像の配置に関する仮定を考慮すると、このことは、当該候補を、候補の垂直方向位置により生じ得るコスト値の如何なる差に対しても互いに一層類似したものとさせる助けとなる。

一実施例において、前記局部的近傍の外側の少なくとも１つのピクセルは、当該画像の実質的に水平なライン区画にわたる複数のピクセルである。この様にして、斯かる複数のピクセルは当該画像において同一の高さを有する。画像の配置に関する前述した仮定を考察すると、これは、一層信頼性のある統計値を計算する助けとなる。

一実施例において、前記カラー属性は輝度及び色度のうちの少なくとも一方に依存する。これらは、画像内に現れる普通のカラー属性である。

一実施例において、前記最適化ユニットは、前記コスト値を所定の奥行きモデルに基づく奥行きの手掛かりにも依存して計算するように構成される。この様にして、カラー属性の差に基づく奥行きを、何れかの前もって得られる奥行き情報と組み合わせることにより、一層正確な奥行き情報が得られる。このような前もって得られる奥行き情報は、それ自身では信頼性がないかも知れないが、上述したコスト値計算との組み合わせの結果、奥行き推定の品質の予期せぬ改善が得られる。

一実施例は、前記最適化ユニットによりコスト値を決定する前に、当該画像のうちの背景内にある少なくとも１つの領域を所定の奥行きモデルに従ってぼやかす選択的ぼやかしユニットを有する。背景オブジェクトが幾らかぼやかされると、奥行き推定の品質が向上される。何故なら、画像のぼやかされた領域では、カラー属性の差が一層小さくなるからである。

一実施例において、前記所定の奥行きモデルは動きからの奥行きモデルである。特に、動きからの奥行きに基づく所定の奥行きモデルと、上述した選択的ぼやかしユニットとの組み合わせが、高品質の奥行きマップをもたらすことが分かった。

一実施例は、画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するための集積回路を有し、該集積回路は、
現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定する回路を有し、
上記候補コスト値のうちの少なくとも１つは、現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
上記候補コスト値のうちの少なくとも１つは、上記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
当該集積回路が、上記の決定された奥行き関連コスト値に依存して現ピクセルに奥行き値を割り当てる割当器を更に有しているような集積回路が提供される。

一実施例は、
奥行きマップに基づいて三次元的表現を有するビデオレンダリングを行う３Ｄ表示器と、
画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するためのシステムと、
を有するテレビジョン装置を有し、前記システムは、
現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定する最適化ユニットを有し、
上記候補コスト値のうちの少なくとも１つは、現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
上記候補コスト値のうちの少なくとも１つは、上記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
前記システムは、上記の決定された奥行き関連コスト値に依存して現ピクセルに奥行き値を割り当てる割当器を更に有する。

一実施例は、カメラを有し、該カメラは、
一連の画像を含むビデオ信号を捕捉する捕捉（キャプチャ）手段と、
画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するためのシステムと、
を有し、該システムは、
現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定する最適化ユニットを有し、
上記候補コスト値のうちの少なくとも１つは、現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
上記候補コスト値のうちの少なくとも１つは、上記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
前記システムは、前記奥行きマップを得るために、上記の決定された各奥行き関連コスト値に依存して現ピクセルの各々に各奥行き値を割り当てる割当器を更に有し、
当該カメラは、
捕捉された前記ビデオ信号を供給するための第１出力と、
前記奥行きマップを供給するための第２出力と、
を更に有する。

一実施例は、画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算する方法を有し、該方法は、
現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定するステップを有し、
上記候補コスト値のうちの少なくとも１つは、現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
上記候補コスト値のうちの少なくとも１つは、上記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
当該方法は、上記の決定された奥行き関連コスト値に依存して現ピクセルに奥行き値を割り当てるステップを更に有する。

一実施例は、画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するためのコンピュータプログラム製品を有し、該コンピュータプログラム製品はプロセッサに、
現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定するステップ、
を実行させるためのコンピュータ実行可能な命令を有し、
上記候補コスト値のうちの少なくとも１つは、現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
上記候補コスト値のうちの少なくとも１つは、上記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の上記少なくとも１つのピクセルのカラー属性と、現ピクセルの対応するカラー属性との間の差に基づくものであり、
当該コンピュータプログラム製品は前記プロセッサに、
上記の決定された奥行き関連コスト値に依存して現ピクセルに奥行き値を割り当てるステップ、
を更に実行させるためのコンピュータ実行可能な命令を有する。

図１は、ビデオシステムのアーキテクチャを示す。 図２Ａは、画像の細部の処理を示す。 図２Ｂは、画像の細部の処理を示す。 図３は、画像の細部の処理を示す。 図４は、画像の細部の処理を示す。 図５は、画像の細部の処理を示す。 図６は、画像の細部の処理を示す。 図７は、画像の幾つかの行を示す。 図８は、画像の細部の処理を示す。 図９は、幾つかの実施例を示す。

以下、本発明の上記及び他の態様を、図面を参照して説明する。

図１は、奥行き推定アルゴリズムの一実施例の高レベルでの概要を提示するブロック図を示す。入力Ｙ，Ｕ，Ｖとして、輝度（Ｙ）及び色度（Ｕ，Ｖ）を供給するファイルを使用することができる。水平及び垂直の両黒色バー（カーテンとも呼ばれる）が、ブロック１１４において従来既知の方法で検出される。このブロック１１４は、実際の活性ビデオの座標を含むソースウインドウを返送する。該黒色バー検出器は、当該ソースウインドウが変化した場合に、シーン変化検出器１１２を抑制することができる。

シーン変化検出器１１２は、シーン変化の後の、好ましくは所定の境界の間に制限（クリップ）されたフレームの数を出力する。シーン変化検出器１１２は、例えば、ソースウインドウ内の現フレームと前々フレーム（即ち、前フレームの前のフレーム）との間の差を計算する。該差がピクセル毎に所定の閾値より大きい場合、シーン変化が報告される。シーン変化検出器は、従来から知られている。

動きからの奥行き（ＤＦＭ）ブロック１０２は、奥行きマップを、入力される動きベクトルフィールド１２４に基づいて、例えば既知の方法（例えば、国際特許出願公開第WO99/40726号、米国特許第6,563,873号及び国際特許出願公開第WO01/91468号を参照）を用いて供給する。到来する動きベクトルフィールド１２４（即ち、動き推定器から到来する）に基づいて、動きからの奥行きブロック１０２は、奥行きの手掛かりを計算する。例えば、ＤＦＭブロック１０２を実施化する一つの可能な方法は、上記動きベクトルフィールドを背景の動きベクトルフィールドと比較することによるものである。この場合、背景の動きベクトルフィールドは、当該画像の全体の動き（例えば、パン／ズームパラメータ）に基づいて計算される。上記動きベクトルフィールド１２４及び背景動きベクトルフィールドに基づいて、動きからの奥行きが計算される。これは、ベクトルフィールド内のベクトルに関してＡＶＤ（絶対ベクトル距離、即ち、上記背景動きベクトル及び入力動きベクトルのＸ及びＹ成分の差の絶対値の和）を計算することにより実施される。その結果は、当該ビデオ信号の動き推定を表すベクトルフィールドである。しかしながら、背景ベクトルフィールド及びパン／ズームパラメータの使用はオプションである。上記動き推定は、奥行きマップに変換される。

ブロック１０６において、上記奥行きマップは平滑化される。ブロック１０８及び１１０において、入力画像はガウスカーネルによりフィルタ処理される。ブロック１０８は輝度（Ｙ）を処理し、ブロック１１０は色度（Ｕ，Ｖ）を処理する。好ましくは、エッジ保存フィルタが使用される。その結果は、ぼやかされた画像である。

奥行き推定は、浅い焦点深度でカメラにより撮影された画像を用いることにより改善されることが分かった。言い換えると、背景がぼやかされ、前景のオブジェクトがシャープな場合に、奥行き推定アルゴリズムは相対的に良好に機能する。このような挙動を模するため、ブロック１１６では、当該画像の背景部分がぼやかされる一方、前景部分はぼやかされないままとする。前記動きに基づく奥行きマップ、元の入力及びぼやかされた画像を用いて、該元の入力（input_image）とぼやかされた画像（blurred_image）とを上記の動きに基づく奥行きマップに依存して混合することにより、新たな中間混合画像が形成される。先ず、ノイズを低減するために、前記動きからの奥行き値から、閾値が減算される。結果としての値に基づいて、０から１までの範囲の混合係数（mixfactor）が計算されるが、該混合係数は背景領域に対しては大きく、前景領域に対しては小さい。この場合、ブロック１１６の出力（output_image）は、
output_image = mixfactor * blurred_image + (1 - mixfactor) * input_image
となる。

背景のぼやかしは、奥行き推定ブロック１１８の出力におけるハロを低減させることができる。

ブロック１１８において、改善された奥行きマップを得るために、ブロック１１６の部分的にぼやかされた画像出力及びブロック１０６の平滑化された動きからの奥行き出力が組み合わされる。この目的のために、ピクセルに関するコスト値が計算される。ブロック１１８において、当該画像のラインが、最上ラインから開始して最下ラインまで、左から右へと及び右か左へと交互に走査（ジグザグに）される。現ピクセルのコスト値は、一群の候補コスト値からとられる最小値である。候補コスト値は、他のピクセルのコスト値と、該他のピクセルの輝度値と現ピクセルの輝度値との間の差の絶対値との和である。輝度値の代わりに、色度関連値又は何らかの色関連値等の如何なるピクセルパラメータも使用することができる。

図２Ａ及び２Ｂは、前記候補コスト値に対応する候補ピクセルを示す。図２Ａはラインが左から右へ横切られる場合を示す一方、図２Ｂはラインが右ら左へ横切られる場合を示している。両図において、現ピクセルは×で示されている。矢印は、ピクセルが処理される順序を示している。符号が付されたピクセル１〜４は、候補コスト値に対応する候補ピクセルを示す。ラインは上から下に処理されるので、現ピクセルに直に隣接するピクセルが、これらが既に処理されている限りにおいて、使用されることがわかる。従って、現ピクセルの上側の３つのピクセル及び前に処理されたピクセルが、候補コスト値を決定するために使用される。

コスト値は下記のように計算される。先ず、候補値が計算される。即ち、図２Ａ又は２Ｂに示されるような候補ピクセル１〜４の各々に関して、候補コスト値が計算される。この候補コスト値（candidate_cost）は、当該候補ピクセルのコスト値（cost_of_candidate_pixel）に、該候補ピクセルの輝度（luminance_of_candidate_pixel）と現ピクセルの輝度（luminance_of_current_pixel）との間の差を加算したものである。即ち、
candidate_cost = cost_of_candidate_pixel +
ABS(luminance_of_candidate_pixel - luminance_of_current_pixel)
となる。

４つの候補ピクセル１〜４に対応する４つの候補コスト値のうち、最小値が決定され、これが現ピクセルに割り当てられるコスト値となる。次いで、各ピクセルに対するコスト値を、奥行きの手掛かりとして使用することができる。例えば、或るピクセルの奥行き値は、一定の定数を当該コスト値により除算することによりコスト関数から導出される。

コスト値の計算は、幾つかの方法で向上させることができる。以下に、幾つかの向上例を概説する。例えば、素直な拡張例は、輝度に加えて色度も使用され得るというものである。個々のピクセル（図２Ａ〜２Ｂにおける１〜４）の代わりに、ノイズの影響を低減するためにピクセルのグループを平均化することができる。ノイズの影響を更に低減するために、コスト値は例えば３ｘ３のカーネルを用いて平均することができる。また、時間的安定性を増加させるために、以前のフレームに対して計算されたコスト値を関係させることができる。更に、４つの隣接するピクセル（又はピクセルグループ）に関係する候補値が使用されるのみならず、更に、前のライン区画からとられた平均値も使用される。一種の背景相関である。これは、アルゴリズムが当該画像を常に益々大きなコスト値を割り当てることなしに走査するのを可能にし、不所望に大きな値を防止する。これは、動き値からの大きな奥行きを持つオブジェクトにおいて特に重要である。

更なる改善は、最小コスト候補を選択した後に、対応するピクセルの動きからの奥行き（ＤｆＭ）を当該候補コスト値に加算して現ピクセルの最終的コスト値を得ることにより達成される。これは、好ましくは反復コア（recursion core）内で実行される。該ＤｆＭ値の使用は、ＤｆＭの変化しやすい（volatile）特性を考慮した、信頼性及び安定に関しての良い妥協策である。

更なる改善は、コスト値に、当該画像の局部的テクスチャに基づく値を加算することにより達成することができる。これは、エッジ検出器等の相対的に複雑なフィルタにより拡張することができる。

更なる改善は、候補コスト値を、図２Ａ／２Ｂにおけるような直に隣接する近隣ピクセル（又はピクセルグループ）からは選択しないことにより達成することができる。例えば、現ピクセル（又はピクセルグループ）から２行及び／又は２列離れたピクセルを図５に示すように使用することができる。この結果、一層首尾一貫した奥行き手掛かりが得られる。

図３は、輝度（ルマ）及び色度（クロマ）が"ピクセル十字（pixel cross）"において如何に処理されるかを示している。正方形により示されるピクセルの格子からなる画像片３００を考察する。各ピクセルは、自身に関連するルマ値Ｙを有している。各ピクセルは、図示されたように当該画像における列に依存して、自身に関連するクロマのＵ座標又はＶ座標の何れかのみを有する。ピクセル３０２のルマを評価する場合、４つの取り囲むピクセル３０４（斜線のボックスにより示す）のルマが平均される。ピクセル３０２自身のルマは、好ましくは、使用されない。クロマのＵ成分を評価する場合、ピクセル３０２の上下の２つの斜線ピクセルが平均される。クロマのＶ成分を評価する場合、ピクセル３０２の左右の２つの斜線ピクセルが平均される。平均の代わりに、何らかの他の組み合わせも実施することができる。画像片３１０も類似の配座を示すが、画像片３１０において黒の正方形として示された評価されるべきピクセルは、図示されるようにＶの列内にある。従って、クロマのＵ成分を評価する場合、画像片３１０における黒のピクセル３１０の左右の２つの斜線ピクセルが平均され、クロマのＶ成分を評価する場合、画像片３１０における黒ピクセルの上下の２つの斜線ピクセルが平均される。"ピクセル十字"の使用は、全てのピクセルが全ての属性を含んではいないような（特に、交互の列又は行が、２つの入れ替わる型の属性を含んでいる場合の）画像データを処理するための有利な方法である。全サンプルは現画像からとられる。しかしながら、代替的に、時間的安定性を改善するために、前の又は次のフレームからのピクセルデータを組み合わせることもできる。

この記載では、クロマの交互のＵ及びＶ座標の例が説明されるが、"ピクセル十字"の概念は、如何なる種類の属性にも拡張することができる。本明細書で説明される方法及びシステムは交互のＵ及びＶ列を持つ画像に限定されるものではないことが理解されよう。例えば、各ピクセルがＹ、Ｕ及びＶ属性を持つような画像も使用することができる。Ｕ及びＶ値は、当該クロマの尺度を表す単一の値を得るために平均することもできる。

本説明においては、一例として、Ｙ、Ｕ及びＶがカラー属性として使用される。しかしながら、ＲＧＢ属性等の他の種類のカラー属性も使用することができる。これらのカラー属性及び異なるピクセルのカラー属性の間の差を直接的に使用することができるか、又はカラー属性Ｙ、Ｕ及び／又はＶの１以上を従来既知の方法で所与のカラー属性から計算することもできる。

図４は、前に計算されたコスト値を評価する場合に、中心ピクセルの周囲の３ｘ３ブロック（"ピクセルブロック"）のコスト値を平均して、空間的にフィルタされたコスト値を得るような実施例を示している。中心ピクセルに一層大きな重みを与えるような加重平均を使用することもできる。好ましくは、前の又は次のフレームに関係するコスト値を関係させて、時間的安定性を改善することができる。例えば、３ｘ３ピクセルブロックにおけるコスト値の幾つかを、前のフレームにおける対応するコスト値により単純に置換することができる。

図５は、図２におけるように直に隣接するピクセルを使用する代わりに、２行及び／又は２列離れた距離に位置するピクセルが使用されるような実施例を示している。この様にして、コスト候補は現ピクセルに対して直ぐ隣に位置することはない。これは、有利には、上述したピクセル十字及びピクセルブロックの使用と組み合わされる。

図６は、２つの中心ピクセル６０２及び６０４を各々有する２つのピクセル十字におけるルマ及びクロマ値の対的比較を示す。各中心ピクセルの上のピクセルが比較され、各中心ピクセルの右側のピクセルが比較され、各中心ピクセルの下のピクセルが比較され、各中心ピクセルの左側のピクセルが比較されることが分かる。ルマに関しては、４つの対応する差を平均することができる。クロマに関しては、別個に減算されるべき２つのタイプのサンプル（Ｕ及びＶ）が存在する。ピクセル十字に関して統計値を計算する場合も同様である。即ち、平均のルマは４つのピクセルに基づくものである一方、平均のクロマＵ及び平均のクロマＶは２つのピクセルに基づくものとなる。

図７は、図５の４つの候補１〜４に加えて、５番目の候補が前のライン区画の統計値に基づいて使用されるのを示している。この目的のため、ピクセル十字の統計値が計算される。ピクセル十字に表れるルマ値、クロマ値Ｕ及びクロマ値Ｖが平均されて、ピクセル十字の統計値を得る。これらの統計値は、現ピクセルのピクセル十字に対して計算される。

次に、現ピクセルの統計値が、５番目の候補に関する統計値と比較される。この５番目の候補は、一群の統計的候補から疑似ランダムに選択される。各統計的候補は、例えばライン区画にグループ化された複数のピクセルに関するものである。斯かる統計的候補から、５番目の候補コスト値が得られる。ピクセルの最終的コスト値は、全ての候補コスト値のうちの最小のものである。

図７は、画像の一部７００を示し、該部分７００は当該画像の複数の行を有している。行７０２は現在処理されている行を表す。即ち、現ピクセルは行７０２の一部である。各行は、所与の幅７０８を持つ複数の"活性ライン区画"を有する。これらの活性ライン区画は斜線で示されている。残りのピクセルは、該図において、白色として示されている。

例えば、当該画像の列の数は７４０であり、各行の活性ライン区画の数は４に設定されている。例えば、斯かる活性ライン区画は各行に沿って均一に分散されている。例えば、活性ライン区画の長さは４５に設定され、残りのピクセルは如何なる活性ライン区画の一部でもない。各活性ライン区画に対して、例えばルマ、クロマＵ、クロマＶ及びコスト値を含む統計値が計算される。

コスト値を計算するために現ピクセルを処理する際に、上記統計値が現ピクセルの周囲のピクセル十字に関して収集される。ライン区画の終端に到達した場合、当該ライン区画に関する統計値を得るために、該ライン区画に沿うピクセル十字の統計値が平均される。

暗い領域は、定義により、小さなルマ値及び小さなクロマ値を有する。結果として、背景（の一部）が暗いシーンでは、当該画像内の暗いカラーを持つオブジェクトは、この暗い背景から発生する統計的候補を最小の候補コスト値として生じ、これにより、これらの暗いオブジェクトの部分であるピクセルのコスト値が上記の暗い背景のピクセルにより影響されるであろう。これは、当該画像に奥行き孔（depth holes）を生じさせる。このような効果は、これらの暗い領域に関する統計値に罰則を追加することにより低減される。この罰則は、暗い候補の統計的コスト値が最小候補として選択されるであろう尤度を減少させるために、最小候補コスト値を決定する場合にコスト値に加算される。

各ピクセルに対する候補として、小数の統計的候補のみを又は単一のみの統計的候補を使用するのが有利である。これは、必要とされる計算の量を低減する。これは、また、結果としての奥行きマップを改善する。１つの（疑似）ランダムに選択された統計的候補を選択するのが有利である。一層多くの統計的候補を使用することもできる。好ましくは、上記統計的候補は、現ピクセルを含む行から過度に遠く離れていない行のライン区画から選択される。例えば、最後の少数の行におけるライン区画の統計値が記憶され、これらのライン区画から候補がランダムに選択される。有利には、当該画像の最初の部分は除いて、候補統計値は、現ピクセルから少なくとも所定の数の行におけるライン区画に関係するものとすべきである。これは、リンギング・アーチファクトを回避する助けとなる。

最小値である最良の候補コスト値を選択した後、動きからの奥行き値が、この最良候補コスト値に加算されて、最終コスト値を形成する。該加算の前に、上記動きからの奥行き値は、先ず、重み係数により乗算される。有利には、該重み係数は、当該画像の一層高い行に対しては一層大きく、当該画像の一層低い行に対しては一層小さい。例えば、該重み係数は各行の後にリニアに減少される。これは、オブジェクトが最終的奥行きマップにもたれかかるように見えさせる"傾斜"効果を防止又は低減する助けとなる。このような効果は、コスト値を直接的に補正することによっても低減することができる。

ピクセル十字の使用により、単一のピクセルのルマ及びクロマ値を直接的に使用するというよりも、現ピクセルの周囲の幾つかのピクセルが平均される。これは、オブジェクトのエッジ近傍での性能の低減を生じさせ得、特に、エッジにおいて低コスト値を生じさせ得、結果として、特に統計的候補コスト値との組み合わせで、オブジェクトへの低い奥行きの"漏れ（leak）"を生じさせ得る。このような効果を防止又は低減するために、例えばルマ及び／又はクロマのジャンプを評価することにより、エッジを検出することができる。例えば、ピクセル十字における異なるピクセルに関するルマ及び／又はクロマ値の間の絶対差を、該差に重み係数を提供した後に、コスト値に加算することができる。

上述したような動きからの奥行きに基づく及びエッジ検出に基づくコスト値への寄与と同様に、コスト値を更に精細に調整し、これにより結果としての奥行きマップを向上させるために、他の情報を組み込むことができる。例えば、シーンの物理的構造を推定するアルゴリズム、空検出器等からの奥行き情報を、同様の方法で組み込むことができる。

黒色カーテン及び隣接する黒い画像部分が"通常の"方法で処理された場合、小さな奥行き値がカーテンを介して隣接する黒い画像領域に伝搬し、奥行き孔を形成する。

これを回避するために、ラインを走査する前に、"黒色カーテンステータス"が設定される。黒色カーテンは少なくとも４ピクセル幅である（これらの最初の４ピクセル内で活性なビデオが検出されたとしても）。これは、最初のピクセル（走査方向に依存して、最も左の又は最も右の）を特別な態様で扱うのを可能にし、境界の近くでの複雑なデータの取り込み（即ち、クリッピング）を回避する。確かに、黒色カーテン内では、現ピクセル十字のみが重要である。ピクセル毎に、現在の行の上の行で１つのみのピクセル十字が取り込まれ、現在の行で１つが取り込まれる（各々、図８における３及びＸの周りの十字）。この図は、左の画像境界も示している。この様にして、５番目のピクセル以降でのみ、候補が通常の方法で画像データにより満たされる。

これらの４つのピクセルの後、現ピクセル十字の平均ルマ値が取り込まれ、閾値と比較される。当該平均が閾値より低い場合、黒色カーテンステータスは維持される。該平均が上記閾値を所定の回数超えた場合、黒色カーテンステータスは解除され、動作は通常にされる。

黒色カーテンにおけるコスト値は、以下のように計算される。最後の又は最初の活性な列のコストが使用され、小さな罰則値により増加される。従って、黒色カーテン内では、コスト値は現ピクセル十字からは独立している。また、黒色カーテン内の奥行き値は、必ずしも境界に接触しない画像部分に関係する。

全てのピクセルに対してコスト値が計算された後、スケーリングが実施される。また、各コスト値を記憶するために要するビット数を低減するために、ダウンスケーリングを実行することもできる。クリッピングも実行することができる。また、空間的及び／又は時間的フィルタ処理を実行することもできる。

図９は、本発明の幾つかの実施例を示す。該図は、画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するシステムを概略示している。該システムは、奥行きマップが計算されるべき画像を得るための入力部９１６と、最終的に計算された奥行きマップを供給する出力部９１８とを有している。該システムは、最適化ユニット９０２と、割当て部９０４と、選択部９０６と、２つの統計ユニット９０８及び９１０と、反復部９１２と、選択的ぼやかしユニット９１４とを有している。

入力部９１６から得られた画像は最適化ユニット９０２に供給され、該最適化ユニットは現ピクセルの奥行き関連コスト値を決定するが、該奥行き関連コスト値は複数の候補コスト値の中での最小のコスト値である。この目的のため、最適化ユニット９０２は現ピクセルの周囲の局部的近傍を定める。局部的近傍の例は、現ピクセルに隣接する全ピクセル、現ピクセルから所定の距離内の全ピクセル、現ピクセルから最大で１ピクセル、３ピクセル又は５ピクセル離れた全ピクセルである。斯かる候補コスト値の少なくとも１つは、現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における上記少なくとも１つのピクセルのカラー属性と現ピクセルの対応するカラー属性との間の差に基づくものである。上記局部的近傍は、好ましくは、上記差が現ピクセルにおいて発生するカラー属性の変化に関係するように選定される。更に、上記候補コスト値の少なくとも１つは、上記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の上記少なくとも１つのピクセルのカラー属性と現ピクセルの対応するカラー属性との間の差に基づくものである。この最後に述べた差は、好ましくは、現ピクセルにおいて発生するカラー属性の変化に関係しないものとする。むしろ、好ましくは、該差は上記局部的近傍の外側の何処かに関連する基準値との比較を含むものとする。

当該システム、更に、現ピクセルに奥行き値を、前記の決定された奥行き関連コスト値に依存して割り当てる割当て部９０４を有する。該割当て部は、上記奥行き関連コスト値を単にコピーすることができる。また、該割当て部は上記奥行き関連コスト値の逆値又は否定（negation）を割り当てることができる。また、該割当て部は上記奥行き関連コスト値の何らかの関数に対応する値を割り当てることができる。このような関数は、好ましくは、単調関数である。

一実施例は、更に、現ピクセルの局部的近傍の外側の前記少なくとも１つのピクセルを、現ピクセルと上記局部的近傍の外側の少なくとも１つのピクセルとを接続する直線が当該画像内のオブジェクトの境界と交差する確率が、現ピクセルと前記局部的近傍の内側の少なくとも１つのピクセルとを接続する直線が当該画像内の上記オブジェクトの境界と交差する確率より大きくなるように選択する選択部９０６を有する。

他の実施例において、上記選択部９０６は、上記局部的近傍の外側の少なくとも１つのピクセルを、画像幅の半分より大きい長さを持つ画像領域にわたる一群の候補からランダムに選択する。

一実施例は、前記局部的近傍の外側の少なくとも１つのピクセルに関するコスト値を該局部的近傍の外側の少なくとも１つのピクセルの各々に関する各コスト値に基づいて計算する統計ユニット９０８と、前記局部的近傍の外側の少なくとも１つのピクセルに関するカラー属性を該局部的近傍の外側の少なくとも１つのピクセルの各々に関する各カラー属性に基づいて計算する統計ユニット９１０とを有する。この様にして、基準値は統計に基づくものとなり、一層安定した挙動を提供する。

一実施例は、前記最適化ユニットに当該画像の連続するピクセルを処理させる反復部９１２を有し、この場合において、処理されているピクセルは前記現ピクセルであり、該反復部は当該画像の上部で開始して下方に向かって動作するか、又は当該画像の下部で開始して上方に向かって動作するかの何れかとなるように構成される。

一実施例において、上記反復部は、前記最適化ユニットに当該画像の連続するピクセルを左から右へ及び右から左へと交互に処理させるように構成される。一実施例において、選択部９０６は前記局部的近傍の外側の少なくとも１つのピクセルを画像幅の半分より大きい幅を持つ画像領域にわたる一群の候補からランダムに選択し、上記画像領域は実質的に水平な細片である。

好ましくは、前記局部的近傍の外側の少なくとも１つのピクセルは、当該画像の実質的に水平なライン区画にわたる複数のピクセルである。前記カラー属性は、好ましくは、輝度及び色度の少なくとも一方に依存する。好ましくは、前記最適化ユニットは前記コスト値を所定の奥行きモデルに基づく奥行きの手掛かりにも依存して計算するように構成される。好ましくは、前記最適化ユニットによりコスト値を決定する前に、背景内にある当該画像の少なくとも１つの領域を所定の奥行きモデルに従ってぼやかすために選択的ぼやかしユニット９１４が設けられる。好ましくは、上記所定の奥行きモデルは、動きからの奥行きモデルとする。

上述したシステムは、例えばビデオ処理チップ等の集積回路の一部として実施化することができる。上述したシステム又は上述した集積回路は、例えばレンチキュラスクリーンを備えるＬＣＤテレビジョン等の三次元画像をレンダリングすることが可能なテレビジョンの一部とすることができ、斯かるテレビジョンはビューアが立体メガネを装着することを要することなしに奥行きの印象を持つ画像のレンダリングを可能にする。勿論、立体メガネ（例えば、ＬＣＤシャッタメガネ又は赤／緑メガネ）によるシステムも使用することができる。

上述したシステムは、カメラに又はビデオマスタリングツールに組み込むこともできる。

ここでは、画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算する方法が記載されている。該方法は、現ピクセルの奥行き関連コスト値を決定するステップを有し、該奥行き関連コスト値は複数の候補コスト値のうちの最小のコスト値であり、斯かる候補コスト値の少なくとも１つは現ピクセルの局部的近傍内の少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍内の上記少なくとも１つのピクセルのカラー属性と現ピクセルの対応するカラー属性との間の差に基づくものであり、上記候補コスト値の少なくとも１つは上記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の上記少なくとも１つのピクセルのカラー属性と現ピクセルの対応するカラー属性との間の差に基づくものである。該方法は、更に、現ピクセルに対して奥行き値を上記の決定された奥行き関連コスト値に依存して割り当てるステップを有する。

上記方法及びシステムは、画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するためのコンピュータプログラム製品でも実施化することができる。該コンピュータプログラム製品は、プロセッサに現ピクセルの奥行き関連コスト値を決定するステップを実行させるコンピュータ実行可能な命令を有し、該奥行き関連コスト値は複数の候補コスト値のうちの最小のコスト値であり、斯かる候補コスト値の少なくとも１つは現ピクセルの局部的近傍内の少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍内の上記少なくとも１つのピクセルのカラー属性と現ピクセルの対応するカラー属性との間の差に基づくものであり、上記候補コスト値の少なくとも１つは上記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の上記少なくとも１つのピクセルのカラー属性と現ピクセルの対応するカラー属性との間の差に基づくものである。該コンピュータプログラム製品は、更に、プロセッサに現ピクセルに対して奥行き値を上記の決定された奥行き関連コスト値に依存して割り当てるステップを実行させるコンピュータ実行可能な命令を有する。

本発明が、該発明を実施させるように構成されたコンピュータプログラム、特には担体上の又は担体内のコンピュータプログラムにも拡張することができることが理解されよう。該プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形のようなソース及びオブジェクトコードの中間コードの形態とすることができるか、又は本発明による方法の実施に使用するのに適した如何なる他の形態とすることもできる。また、このようなプログラムは、多くの異なるアーキテクチャ設計を有することもできることが理解されよう。例えば、本発明による方法又はシステムの機能を果たすプログラムコードは、１以上のサブルーチンに副分割することができる。斯かる機能を、これらサブルーチンの間に分散させる多くの異なる方法は、当業者にとり明らかであろう。斯かるサブルーチンは、自己完結型プログラムを形成するために１つの実行可能なファイルに一緒に記憶することができる。このような実行可能型ファイルは、例えばプロセッサ命令及び／又はインタープリタ命令（例えば、ジャバインタプリタ命令）等のコンピュータ実行可能な命令を有することができる。他の例として、上記サブルーチンの１以上又は全てを、少なくとも１つの外部ライブラリファイルに記憶し、主プログラムと静的に又は動的に（例えば、実行時に）リンクさせることができる。上記主プログラムは、上記サブルーチンの少なくとも１つに対する少なくとも１つのコールを含む。また、上記サブルーチンは互いに対するファンクションコールを有することができる。コンピュータプログラム製品に関係する一実施例は、前述した方法の少なくとも１つにおける処理ステップの各々に対応するコンピュータ実行可能な命令を有する。これらの命令は、サブルーチンに副分割し、及び／又は静的若しくは動的にリンクすることが可能な１以上のファイルに記憶することができる。コンピュータプログラム製品に関する他の実施例は、前述したシステム及び／又は製品の少なくとも１つにおける手段の各々に対応するコンピュータ実行可能な命令を有する。これらの命令は、サブルーチンに副分割し、及び／又は静的若しくは動的にリンクすることが可能な１以上のファイルに記憶することができる。

コンピュータプログラムの前記担体は、当該プログラムを担持することが可能な如何なる主体又はデバイスとすることもできる。例えば、該担体は、例えばＣＤ ＲＯＭ若しくは半導体ＲＯＭ等のＲＯＭのような記憶媒体、又は例えばフロッピー（登録商標）ディスク若しくはハードディスク等の磁気記録媒体を含むことができる。更に、該担体は、電気又は光信号等の伝送可能な担体とすることができ、斯かる信号は電気若しくは光ケーブルを介して又は無線若しくは他の手段により伝送することができる。上記プログラムが斯かる信号で具現化された場合、上記担体は斯様なケーブル又は他のデバイス若しくは手段により構成することができる。他の例として、上記担体は、プログラムが埋め込まれた集積回路とすることができ、該集積回路は関連する方法を実行し、又は関連する方法の実行に使用するよう構成される。

上述した実施例は本発明を限定するというよりは解説するものであり、当業者であれば添付請求項の範囲から逸脱することなしに多くの代替実施例を設計することができることに注意すべきである。請求項において、括弧内の如何なる符号も当該請求項を限定するものと見なしてはならない。"有する"なる動詞及びその活用形の使用は、請求項に記載されたもの以外の構成要素又はステップの存在を排除するものではない。単数形の構成要素は、複数の斯様な構成要素の存在を排除するものではない。本発明は、幾つかの個別の要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施化することができる。幾つかの手段を列挙する装置の請求項において、これら手段の幾つかは１つの同一のハードウェア品目により具現化することができる。特定の手段が相互に異なる従属請求項で引用されているという単なる事実は、これら手段の組み合わせが有利に使用することができないということを示すものではない。

Claims (16)

1. 画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するシステムであって、該システムが、
   現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定する最適化ユニットを有し、
   前記候補コスト値のうちの少なくとも１つは、前記現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
   前記候補コスト値のうちの少なくとも１つは、前記局部的近傍の外側の少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍の外側の前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
   当該システムが、前記の決定された奥行き関連コスト値に依存して前記現ピクセルに奥行き値を割り当てる割当器を更に有しているシステム。
2. 前記局部的近傍の外側の前記少なくとも１つのピクセルを、画像幅の半分より大きな長さを持つ画像領域にわたる一群の候補からランダムに選択する選択器を更に有する請求項１に記載のシステム。
3. 前記局部的近傍の外側の前記少なくとも１つのピクセルの前記奥行き関連コスト値を、該局部的近傍の外側の前記少なくとも１つのピクセルの各々の各奥行き関連コスト値に基づいて計算する第１の統計ユニットと、
   前記局部的近傍の外側の前記少なくとも１つのピクセルの前記カラー属性を、該局部的近傍の外側の前記少なくとも１つのピクセルの各々の各カラー属性に基づいて計算する第２の統計ユニットと、
   を更に有する請求項１に記載のシステム。
4. 前記局部的近傍の外側の前記少なくとも１つのピクセルが、前記画像の実質的に水平なライン区画にわたる複数のピクセルである請求項３に記載のシステム。
5. 請求項１に記載のシステムにおいて、処理されているピクセルが前記現ピクセルとなるようにして前記最適化ユニットに前記画像の連続するピクセルを処理させる反復器を更に有し、該反復器は前記画像の上部で開始して下方に向かって動作するか、又は該画像の下部で開始して上方に向かって動作するシステム。
6. 前記反復器が、前記最適化ユニットに前記画像の連続する行を、左から右へ及び右から左へと交互に処理させる請求項５に記載のシステム。
7. 請求項５に記載のシステムにおいて、前記局部的近傍の外側の前記少なくとも１つのピクセルを、画像幅の半分より大きな幅を持つ画像領域にわたる一群の候補からランダムに選択する選択器を更に有し、前記画像領域が実質的に水平な細片であるシステム。
8. 前記カラー属性が輝度及び色度の少なくとも一方に依存する請求項１に記載のシステム。
9. 前記最適化ユニットが、前記奥行き関連コスト値を所定の奥行きモデルに基づく奥行きの手掛かりにも依存して計算する請求項１に記載のシステム。
10. 前記最適化ユニットにより前記奥行き関連コスト値を決定する前に、前記画像のうちの背景内にある少なくとも１つの領域を所定の奥行きモデルに従ってぼやかす選択的ぼかしユニットを更に有する請求項１に記載のシステム。
11. 前記所定の奥行きモデルが、動きからの奥行きモデルである請求項９又は請求項１０に記載のシステム。
12. 画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するための集積回路であって、該集積回路は、
    現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定する回路を有し、
    前記候補コスト値のうちの少なくとも１つは、前記現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
    前記候補コスト値のうちの少なくとも１つは、前記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
    当該集積回路が、前記の決定された奥行き関連コスト値に依存して前記現ピクセルに奥行き値を割り当てる割当器を更に有している集積回路。
13. 奥行きマップに基づいて三次元的表現を有するビデオレンダリングを行う３Ｄ表示器と、
    画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するシステムと、
    を有するテレビジョン装置であって、前記システムが、
    現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定する最適化ユニットを有し、
    前記候補コスト値のうちの少なくとも１つは、前記現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
    前記候補コスト値のうちの少なくとも１つは、前記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
    前記システムが前記の決定された奥行き関連コスト値に依存して前記現ピクセルに奥行き値を割り当てる割当器を更に有するテレビジョン装置。
14. 一連の画像を含むビデオ信号を捕捉するキャプチャ手段と、
    画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するシステムと、
    を有するカメラであって、前記システムが、
    現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定する最適化ユニットを有し、
    前記候補コスト値のうちの少なくとも１つは、前記現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
    前記候補コスト値のうちの少なくとも１つは、前記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
    前記システムが、前記奥行きマップを得るために、前記の決定された各奥行き関連コスト値に依存して前記現ピクセルの各々に各奥行き値を割り当てる割当器を更に有し、
    前記カメラが、
    捕捉された前記ビデオ信号を供給するための第１出力端と、
    前記奥行きマップを供給するための第２出力端と、
    を更に有するカメラ。
15. 画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算する方法であって、該方法が、
    現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定するステップを有し、
    前記候補コスト値のうちの少なくとも１つは、前記現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
    前記候補コスト値のうちの少なくとも１つは、前記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
    当該方法が、前記の決定された奥行き関連コスト値に依存して前記現ピクセルに奥行き値を割り当てるステップを更に有する方法。
16. 画像の各ピクセルに関してビューアまでの距離を表す奥行き値を有する奥行きマップを計算するためのコンピュータプログラムであって、該コンピュータプログラムはプロセッサに、
    現ピクセルの、複数の候補コスト値のうちの最小コスト値であるような奥行き関連コスト値を決定するステップ、
    を実行させるためのコンピュータ実行可能な命令を有し、
    前記候補コスト値のうちの少なくとも１つは、前記現ピクセルの局部的近傍における少なくとも１つのピクセルの奥行き関連コスト値に基づくと共に、該局部的近傍における前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
    前記候補コスト値のうちの少なくとも１つは、前記局部的近傍の外側の少なくとも１つのピクセルに関する奥行き関連コスト値に基づくと共に、該局部的近傍の外側の前記少なくとも１つのピクセルのカラー属性と、前記現ピクセルの対応するカラー属性との間の差に基づくものであり、
    当該コンピュータプログラムが、前記プロセッサに、
    前記の決定された奥行き関連コスト値に依存して前記現ピクセルに奥行き値を割り当てるステップ、
    を実行させるためのコンピュータ実行可能な命令を更に有するコンピュータプログラム。

Images