JP2010534878A - 深さ関連情報伝達のための方法及び装置 - Google Patents

Abstract

本発明は、第１の画像820と関連した第１の深さマップ810から第２の画像830と関連した第２の深さマップ860へと深さ関連情報を伝達するための装置及び方法に関し、第１及び第２の画像は、画像シーケンス中で時間的に隣接する画像である。本方法は、第１の画像820及び第２の画像830のピクセルを用いて、第１の深さマップ810から中間の深さマップ840へと深さ値を伝達することによって第２の画像830と関連した中間の深さマップ840を生成し、第１の深さマップ810中の第１の位置周辺の空間領域の深さ値及び中間の深さマップ840中の第２の位置周辺の空間領域の深さ値を含む情報を用いて動きベクトル850を生成し、動きベクトル850及び第１の深さマップ810を含む情報を用いて第２の深さマップ860中の第２の位置の深さ値を生成する。

Description

本発明は、第１の画像と関連した第１の深さマップから第２の画像と関連した第２の深さマップへと深さ関連情報を伝達するための方法及び装置に関し、第１の画像と第２の画像は、画像シーケンス中で時間的に隣接する画像である。

最近の数年にわたって、さまざまな企業が、三次元(3D)画像のレンダリングに適した自動立体視(autostereoscopic)ディスプレイを活発に開発している。これらの装置は、特別なヘッドギアや眼鏡を必要とすることなく、３次元な印象を観察者に提示することができる。

自動立体視ディスプレイは、一般に、異なる視角に対する異なるビューを生成する。このように、第１の画像は、観察者の左眼に対して生成され、第２の画像は右眼に対して生成されることができる。適切な画像（すなわち左眼及び右眼の視点からそれぞれ適切な画像）を表示することによって、それぞれの画像を表示して、３次元的な印象を観察者へ伝えることが可能である。

様々な技術が、そのような自動立体視ディスプレイのための画像を生成するために用いられることができる。例えば、マルチビュー画像が複数のカメラを用いて記録されることができ、それぞれのカメラの位置は、それぞれのビューのそれぞれの視点と対応する。あるいは、個々の画像は、３次元コンピュータモデルを用いて生成されることができる。

下位互換性を維持して、帯域幅使用を改善するために、多くの自動立体視ディスプレイは、従来の２次元画像及び対応する深さマップのシーケンスの形の入力シーケンスを用いる。

深さマップは、画像中に示される対象物のカメラに対する絶対的又は相対的な距離を示す深さ情報を提供する。一例として、深さ情報を表現するための一般的な方法は、８ビットグレースケール画像による。深さマップは、ピクセル単位での深さ情報を提供することができるが、当業者にとって明らかなように、各々の深さマップ値が複数のピクセルの深さ情報を提供する、より低い解像度の深さマップのようなより粗い粒度を用いることもできる。

視差マップが、上述の深さマップに代わるものとして用いられることができる。視差は、２つの視点から（例えば、左眼の視点及び右眼の視点から）観察されたときの、シーン中の対象物の見かけのシフトを指す。視差情報及び深さ情報は関連していて、一般的に当業者に知られているように、互いにマップされることができる。

上記から、深さ関連情報及び深さ値との用語は、本説明の全体にわたって用いられて、視差情報と同様に少なくとも深さ情報を含むと理解される。

画像シーケンス及び対応する深さ関連情報マップ（即ち略して深さマップ）のシーケンスを自動立体視ディスプレイに提供することによって、自動立体視ディスプレイは、一人以上の観察者に対してコンテンツの複数のビューをレンダリングすることができる。新たに作成されるコンテンツは正確に記録された深さ値を備えているかもしれないが、多くの従来の２次元(2D)画像シーケンスは、必要とされる深さ値を含まない。

２次元コンテンツを３次元コンテンツに変換するさまざまなアプローチが知られており、その幾つかは、人間の介入を伴わないリアルタイム変換を対象とし、一方他のアプローチは、人が補助する２次元から３次元への変換を対象にする。後者のアプローチにおいて、オペレータは一般に、選択されたキーフレームのための深さ情報を定め、そしてこの深さ情報はその後、非キーフレームに伝達される。深さ値が画像シーケンス中の画像のサブセットだけで利用可能な場合に、同様のアプローチが深さ値を伝達するために用いられることができる。

既知のアプローチが国際特許出願WO2002/13141に示される。このアプローチによれば、ネットワークは、キーフレームからのピクセルのサブセットのための注釈付深さ値を用いて調整される。この情報は、テクスチャ情報と深さ特性との間の関係を知るために用いられる。調整されたネットワークはその後、キーフレーム全体の深さ情報を生成するために用いられる。第２のフェーズの間、キーフレームの深さマップは、画像特性及びキーフレームに対する相対的な距離から、非キーフレームのための深さマップを生成するために用いられる。

既知のアプローチに関する問題は、異なる深さに位置する同様のテクスチャ情報を有する対象物を扱うことが難しいことである。

本発明の目的は、この問題を改善し、第１の画像と関連した第１の深さマップから第２の画像と関連した第２の深さマップへと深さ関連情報を伝達する（第１の画像と第２の画像は画像シーケンスにおいて時間的に近接した画像である）ことを目指す、代わりのソリューションを提供することである。

この目的は、本発明による方法によって実現され、当該方法は、第１の画像及び第２の画像のピクセルを用いて、第１の深さマップから中間の深さマップへと深さ値を伝達することによって第２の画像と関連した中間の深さマップを生成し、第１の深さマップ中の第１の位置周辺の空間領域の深さ値及び中間の深さマップ中の第２の位置周辺の空間領域の深さ値を有する情報を用いて運動ベクトルを生成し、前記運動ベクトル及び第１の深さマップを含む情報を用いて第２の深さマップ中の前記第２の位置の深さ値を生成する。

第１及び第２の画像は、同様だが異なるタイムスタンプを有する画像シーケンスからの画像を表す。結果として、一般的に、第１及び第２の画像は互いに似ているが、例えばカメラ視点、カメラセッティング、対象物の動き及び/又は対象物の変化といった変動の結果として異なる。

したがって、それぞれ第１及び第２の画像と関連した第１及び第２の深さマップはさらに異なるタイムスタンプに関連する。本発明は、第１の画像と関連した第１の深さマップからの深さ値を用いて、第２の画像のための深さマップを生成することを意図する。それゆえに、本発明は、第１の深さマップから第２の深さマップへと情報を伝達する。

信頼できる深さマップ(例えば手動で注釈をつけられたキーフレームの深さマップ)の深さ値の伝達の間に、伝達される深さマップは一般的に、キーフレームの近くではわずかなエラーを示し、キーフレームからさらに離れるとさらに重大なエラーを示すことが知られている。

そのような伝達エラーはエラーがまだ比較的小さいときに早期に訂正される必要があることを本発明者は洞察した。追加ボーナスとして、より小さいエラーは、より小さい開口を有するフィルタの使用を可能にする。伝達エラーを早い段階で訂正するために、本発明者は、多段階アプローチを提案する。第１のステップにおいて、第１の深さマップから深さ値を伝達することによって中間の深さマップが生成される。ここで「伝達」という用語は、第１の深さマップが中間の深さマップと異なるタイムスタンプに関連することを強調するために用いられる。第１の深さマップからの深さ値は、第１及び第２の画像の両方の画像特性(例えば輝度、彩度及び/又はテクスチャ)に基づくフィルタを用いて伝達されることができる。結果として生じる中間の深さマップは、第２の深さマップの初期推定と解釈されることができる。

好ましくは、中間の深さマップは、バイラテラルフィルタ(Bilateral Filter)を用いて生成される。しかしながら、例えば機械学習アプローチの使用のような他のアプローチが代わりに用いられることができる。

第２のステップにおいて、第１の深さマップ中の第１の位置周辺の空間領域及び中間の深さマップ中の第２の位置周辺の空間領域からの情報を用いて、動きベクトルが決められる。中間の深さマップ中の第２の位置周辺の空間領域及び第１の深さマップ中の第１の位置周辺の空間領域が、比較的高い相関、すなわち第１の深さマップ中の他の空間領域に比べて高い相関を示すように、動きベクトルは選択される。

第３のステップにおいて、動きベクトルは、動きベクトル及び第１の深さマップを含む情報を用いて、第２の深さマップ中の前記第２の位置の深さ値を生成するために用いられる。

上述のように、キーフレームからの注釈付深さ値、あるいは本発明によって既に伝達された深さ値は、さらなるフレームに伝達されることができる。第２のステップは、第１の深さマップ中の第１の位置の空間状況及び第２の深さマップ中の第２の位置の空間状況の両方を明確に考慮する。動きベクトルによって適切であることが示される状況において第１の深さマップからの深さ値を用いることにより、特に類似した色及び異なる深さの対象物の第１の深さマップに存在する対象物境界は実質的に維持されることができる。上述のように、本発明は、従来技術の問題を効果的に改善する。

一実施例において、第２の深さマップ中の第２の位置のための深さ値は、動きベクトル及び第１の深さマップからの深さ値だけを用いて形成される。この場合には、動きベクトルは、第１の深さマップから第２の深さマップへ深さ値及び/又は領域をコピーするために用いられる。第１及び第２の位置は、動きベクトルのソース及びターゲットに対応する。上述の実施の形態の利点は、第１の深さマップから第２の深さマップへ深さ値をコピーすることによって、第１の深さマップの境界整合性が実質的に維持されることである。

更なる実施の形態において、第２の深さマップ中の第２の位置のための深さ値の生成は、動きベクトル及び第１の深さマップに基づく深さ値並びに中間の深さマップ中の第２の位置における深さ値に基づく深さ値を含む候補セットから深さ値を選択することを含む。上述のアプローチの利点は、深さ値を第１の深さマップからコピーすることが結果として満足な結果にならない場合には、中間の深さマップがフォールバックとして用いられることができることである。この実施の形態の好ましい変形例において、動きベクトル生成は、動きベクトルの絶対差分の合計(Sum of Absolute Differences: SAD)の計算を含み、SADは、深さ値を前記候補セットから選択するために用いられる。

更に他の実施の形態において、第２の深さマップの深さ値及び/又はブロックを形成するために、第１の深さマップ及び中間の深さマップの両方の深さ値及び/又は領域は、組み合わせられ、例えば混合される。このようにして、深さ値の間のより連続した遷移が達成されることができる。この実施の形態は、中間の深さマップ(すなわち第２の深さマップの初期の推定) からの寄与に重みづけするために信頼性尺度が用いられるときに、特に効率的である。

本発明の一実施例では、中間の深さマップ生成は、第１の画像の少なくとも１つのピクセル及び第２の画像の少なくとも１つのピクセル（両方のピクセルは、伝達されるそれぞれの深さ関連情報において空間的に近接している）に基づく重み付け係数を用いて、第１の深さマップからの深さ値の加重加算によって、中間の深さマップ中の深さ値を計算すること含む。

上述の実施の形態の好ましい実施の形態において、重み係数は、第１の画像からの少なくとも１つのピクセルと第２の画像からの少なくとも１つのピクセルとの間の差分の非線形関数に基づいて決定される。このようにして、結果として生じる深さ値において相当な差分を示すピクセルの影響は抑制されることができる。

本発明の目的は、第１の画像と関連した第１の深さマップから第２の画像と関連した第２の深さマップへと深さ関連情報を伝達するための深さマップ伝達装置によってさらに実現され、第１及び第２の画像は、画像シーケンス中で時間的に近接した画像であり、前記装置は、第１の画像及び第２の画像のピクセルを用いて第１の深さマップから中間の深さマップへと深さ値を伝達することによって第２の画像と関連した中間の深さマップを生成するために配置される第１の生成手段、第１の深さマップ中の第１の位置周辺の空間領域の深さ値及び中間の深さマップ中の第２の位置周辺の空間領域の深さ値を含む情報を用いて動きベクトルを生成するために配置される第２の生成手段、並びに、動きベクトル及び第１の深さマップを含む情報を用いて第２の深さマップ中の前記第２の位置のための深さ値を生成するために配置される第３の生成手段を有する。

本発明のこれらの及び他の有利な態様は、以下の図を用いてさらに詳細に説明される。

バイラテラルフィルタを用いた深さ伝達の方法を示す図。 コンピューター生成画像及びバイラテラルフィルタを用いて伝達される深さマップの例を示す図。 本発明によって対処される深さ曖昧性問題を示す図。 本発明によって対処される新色問題を示す図。 本発明による方法のフローチャートを示す図。 本発明による深さマップ伝達の例を示す図。 本発明による深さ伝達装置のブロック図。 本発明による消費者向け電子回路装置及びコンテンツ変換装置の両方のブロック図。

図面は尺度通りに描かれていない。一般に、同一の構成要素は、図中で同じ参照符号によって示される。

半自動化された2Dから3Dへのコンテンツ変換、すなわち人間が補助するコンテンツ変換を実行する場合、変換プロセスは、非キーフレームに深さ値を伝達するために用いられる自動外挿ルーチンによって生じるエラーによって影響される場合がある。非キーフレームへの深さ値の伝達を自動化するために本発明の発明者によって適用される一つの方法は、バイラテラルフィルタリングを用いる。"Bilateral filtering for Gray and Color Images," C. Tomasi et al, Proceedings of the International Conference on Computer Vision, 1998に開示されるように（この文献は本明細書に参照として組み込まれる）、バイラテラルフィルタは本来は画像のエッジ保存平滑化のために開発された。

画像シーケンス中のキーフレームから更なる画像へ深さ値を伝達するためにバイラテラルフィルタが非常に効率的であることを、本発明者は見いだした。深さ関連情報を伝達するために、バイラテラルフィルタは、反復的に後続の画像ペアに適用される。上述の理由のために、バイラテラルフィルタは、第１の画像I1と関連した第１の深さマップD1に基づいて中間の深さマップを生成するために、好ましくは用いられる。

バイラテラルフィルタリングは、ドメインフィルタリング（domain filtering）をレンジフィルタリング(range filtering)と組み合わせる。実験は、バイラテラルフィルタリングが、画像シーケンス中のキーフレームから更なるフレームへと深さを伝達するための非常に有効な方法であることを示した。この深さ伝達のプロセスは、再帰的に適用されることができる。各々の再帰的ステップで、深さは、次式の関係を用いて、第１の画像から第２の画像へ伝達される。

以下で、バイラテラルフィルタの一回の反復は調査され、第１の深さマップからの深さ値は中間の深さマップに伝達される。
ここで、

は、時間t+δにおける中間の深さマップ中のピクセルiの深さ値であり、

は、空間的に近傍のピクセルjにおける第１の深さマップの深さ値である。

バイラテラルフィルタが順方向伝達(すなわち時間的に順方向(δ> 0))のために用いられることができることは、当業者にとって明らかだろう。しかしながらバイラテラルフィルタは、逆方向伝達(δ< 0)のために用いられることもできる。さらに、一般的に、バイラテラルフィルタリングは、再帰的に隣接した画像から深さを伝達するために用いられるが(δ=-1又はδ= 1)、より大きなステップサイズ(δ<-1又はδ> 1)を用いることも可能である。バイラテラルフィルタが本発明と組み合わせて用いられる場合、バイラテラルフィルタは隣接した画像から深さ値を伝達するために好ましくは用いられる。このようにして、第１及び第２の画像の間の差分の量は最低限に保たれ、それによって、中間の深さマップが訂正されることができる確率を増加させる。

最初に、キーフレーム(t=0)において、深さ値にエラーがないことが分かっていると仮定する。ピクセルjは、位置iに中心がある時間的近傍に由来する。関数f_ijは、それらの空間的距離に従って空間的近傍に重み付けする。ここで、サイズΔのボックスフィルタを用いる。

例えば、19ピクセルのウィンドウサイズΔが用いられる場合、最大で9ピクセルの動きが反復ごとに追跡されることができる。重みw_ij ^{(t+δ, t)}は、タイムスタンプt+δの第２の画像中のピクセルiとフレームtの近傍のピクセルjとの間の色の差によって決まる。使用される重みは、

によって与えられる。

ここで、αは色重要度を決定する定数である。色の影響は、αの増加とともに増加する。図1は、フィルタウィンドウサイズがΔ=7である例のバイラテラル深さ伝達フィルタの動作を図示する。図1は、画像シーケンスの第１の画像I^(t)及び第２の画像I^(t+δ)を示す。第１及び第２の画像は、時間的に隣接した画像シーケンスからの異なる画像を表し、上付き添字(t+δ)によって示される。第１の画像中に見える淡いピクセルは、より暗い青色背景の上にある赤い物体の赤のピクセルを表す。I^(t+δ)によって示される第２の画像I2において、物体が右に動くにつれて、濃青色の背景ピクセルがあらわになる。

で示される中間の深さマップの新たな深さ値iを計算するために、フレームtのフィルタフットプリント中のすべてのピクセルjに対して重みw_ij ^{(t+δ, t)}が計算される。加重平均が、フレームt+δのピクセルiにおける深さ値を予測するために用いられる。濃青色のピクセルに対する色差は小さいが、淡い赤のピクセルに対しては大きいので、濃青色のピクセルの深さ値の重みは、淡い赤のピクセルの重みより大きい。結果的に、中間の深さマップ中の深さ値は、濃青色のピクセルの深さ値によって実質的に決定される。

バイラテラルフィルタは、類似した色が類似した深さ値を示すことを暗に仮定する。しかしながら、現実には、この色の恒常性の仮定はしばしば破られて、伝達された深さ値のエラーに結びつく。一旦エラーが深さマップに導入されると、それらは新たなフレームに再帰的に伝達される。

図2は、式(1)に基づくバイラテラルフィルタを用いて30個の画像を通じて伝達された深さマップ中のそのような伝達エラーの影響を図示する。図2の結果を生成するために、Δ=19のフットプリントサイズを有するバイラテラルフィルタが用いられた。色重要度パラメータαは0.125に設定された。

この画像中に以下の問題が観察される。

１．'深さ曖昧性'問題
深さ曖昧性は、同一の画像中の異なる深さ値に共通の色が見出される状況に事実上関連する。バイラテラルフィルタの場合、これは、時間とともに伝播して蓄積する深さマップ中のエラーに結びつく。

２．'新色'問題
新色問題は、初期の深さマップ推定が生成されている第２の画像が、元のキーフレーム画像中に存在しなかった色を含むことの結果である。結果として、どんな種類の深さ値がこの色に関連付けられなければならないかに関する情報がない。この状況は、例えば、背景の新たな部分があらわになった場合、焦点がずれた前景物体の境界が第２の画像中の新たな背景色に混ざる場合、又は透明が画像中に存在する場合に発生する。

図2において、'深さ曖昧性'問題は、２つのダイスが画像中で交わるところに見られる。２つのダイスの色は同じものであるが、前景のダイスと背景のダイスの深さ値は異なる。結果として、伝達の後、この境界に対する深さ値は、それぞれの深さ値の平均である。'新色'問題は、背景の一部があらわにされる画像の右に見られ、誤った深さ値に結びつく。

図3は、深さ曖昧性問題をさらに詳細に図示する。第１の画像I^(t)の前景において支配的な色である淡い赤のピクセルが背景中にも出現する。結果的に、深さ値が第１の画像I^(t)及び第２の画像I^(t+δ)に基づくバイラテラルフィルタリングを用いて伝達されるときに、第１の深さマップ

からの深さ値の平均化が行われ、中間の深さマップ

中に誤った深さ値をもたらす。

図4は、新色問題をさらに詳細に図示する。新たな色が第２の画像I^(t+δ)中に出現する。前景の淡い赤の物体が右に動くと、非常に明るい黄色のいくつかのピクセルが背景に見えるようになる。黄色は第１の画像I^(t)のフィルタウィンドウ中に現れていないので、色と深さとの間の関係は正確にコピーされることができず、誤った深さに帰着する。

上記の例は、本発明のための中間の深さマップを生成する双一次フィルタリングを用いることを明示的に提案するが、上で示された問題は、深さ値を推定するために画像特性を用いる他のアプローチにおいて一般的に発生する。厳密に言って、画像特性は実際の深さ値に直接関連せず、そして実際には、異なる深さの物体が類似した色、テクスチャ及び/又は輝度を持つ場合がある。結果的に、曖昧性は、そのような画像特性を用いる他の伝達アプローチにも影響を及ぼす。

曖昧性問題を少なくとも改善することが、本発明の目的である。中間の深さマップ中の深さエラーは、一般的に数ピクセルとして始まるが、キーフレームからさらに離れると、より大きな領域におよぶ傾向がある。本発明は、伝達エラーがさらに伝播することを防止することを意図する方法で、それらが発生した直後に伝達エラーを訂正することを提案する。

図5は、第１の画像と関連した第１の深さマップから第２の画像と関連した第２の深さマップへと深さ関連情報を伝達するための本発明による方法のフローチャートを示し、第１及び第２の画像は、画像シーケンス中で時間的に隣接する画像である。本方法は、図5においてそれぞれS1, S2, S3として示される３つのステップを含む。

図5に示される第１のステップS1は、第１の画像及び第２の画像の画像特性を用いて、第１の深さマップから中間の深さマップへと深さ値を伝達することによって、第２の画像と関連した中間の深さマップを生成することを含む。実際には、これらの画像特性は、例えば彩度、輝度及び/又はテクスチャであることができる。ステップS1は、上記のようにバイラテラルフィルタを用いて実施されることができる。しかしながら本発明はそれらに制限されない。他のアプローチは、例えば深さ値を伝達するために画像特性を用いる機械学習アプローチ含む（但しそれに限定されない）。

第２の画像と関連した第２の深さマップ中の第２の位置のための深さ値を生成するために、第２のステップS2において、動きベクトルが、第１の深さマップ及び中間の深さマップを用いて生成される。この動きベクトルは、第２の深さマップ中の第２の位置周辺の空間領域と比較的高い相関を示す第１の深さマップ中の第１の位置周辺の空間領域を特定する。

第２のステップS2は、当業者にとって知られている動き推定アルゴリズムを用いる様々な態様で実施されることができる。どの特定のアルゴリズムが用いられるかは、アルゴリズムが中間の深さマップ中の第２の位置の空間状況及び第１の深さマップ中の第１の位置の空間状況を考慮する限り、重要ではない。このようにして、動きベクトルは、第２の深さマップ中の空間領域に似ている第１の深さマップ中の空間領域を特定する。

第３のステップS3において、第２の深さマップ中の第２の位置のための深さ値は、動きベクトル及び第１の深さマップを含む情報を用いて生成される。さまざまな他のアプローチが、本発明の要旨を逸脱しない範囲で、この深さ値を生成するために用いられることができる。

第１のアプローチにおいて、第３のステップS3は、第２のステップS2で生成された動きベクトルを用いて深さ値を第１の深さマップからコピーすることを含む。このアプローチの背後の比率は、それぞれの画像間の差分が比較的小さい限り、対応する深さマップ間の変化も小さいことである。

例えば、中間の深さマップ中の第２の位置における空間領域よりも正確に第２の位置周辺の空間領域を表現する空間領域が第１の深さマップ中に存在する可能性がある。第２ステップS2において生成される動きベクトルは、中間の深さマップ中の第２の位置の空間領域との比較的良好な一致を示す第１の深さマップ中の空間領域の指標を表す。

この第１のアプローチにおいて、動きベクトルは、第１の深さマップから第２の深さマップへと、深さ値及び/又は領域全体をコピーするために用いられる。第１の深さマップから領域をコピーすることによって及び/又は深さ値の空間状況を考慮することによって、深さマップの中の境界は実質的に維持される。

本発明の実施態様をさらに説明するために、ブロックベースの動きベクトルを生成する形の第２ステップS2、及び、第１の深さマップから第２の深さマップへ空間領域をコピーする形の第３ステップS3の実施態様が、以下に議論される。

前に示されるように、中間の深さマップ

は、第２の深さマップの第１の推定と解釈されることができる。この推定は、第２ステップS2及び第３ステップS3を用いて、その後訂正される。この推定を訂正するために、中間の深さマップ

中の深さエラーは空間的に無相関であること、及び、第１の深さマップ

中の深さ値がエラーを伴わず(当該画像がキーフレームに対応する場合)、又は既に訂正されている(添字'cor'によって示される)ことが仮定される。

中間の深さマップ

を訂正するために、ピクセルは、16×16ピクセルのブロックB_k（k=1...N）にグループ化される。それから、ブロックB_kごとに、（中間の深さマップからの）ブロックB_kが第１の深さマップ中のブロックと比較されるときに、最も小さい一致誤差をもたらす変位ベクトル(u_x ^(k), u_y ^(k))が決定される。

第２の深さマップ

の深さ値は、その後、全ての(x, y)∈B_kに対して、

を用いて取得される。この動き補償操作は、第１の深さマップから第２の深さマップへ深さ値のブロックをコピーすることに対応する。変位ベクトルは、ブロックB_k中のすべてのピクセルにわたって合計される深さ誤差関数の最小化によって決定される。

ここで、深さ誤差関数g(x, y, ν_x, ν_y)は、

によって与えられる。なお、深さ誤差関数は、異なる統計的特性を有する２つの信号の間で計算される。

は、例えばバイラテラルフィルタから生じる中間の深さマップであり、

は、第１の深さマップであり、注釈付深さマップ又は既に訂正された深さマップである。

上述のアプローチはローカル近傍のすべての位置を検索する動き推定手続きを用いるが、他の検索方法を用いて許容可能な結果を取得することが可能である。そのような最適化及び/又は動き推定のバリエーションは、当業者によく知られている。

図6は、第１の画像I^(t)、第２の画像I^(t+δ)、第１の深さマップ

及び中間の深さマップ

の例を示す。動きベクトル生成において、中間の深さマップ

中の第２の位置におけるブロックとの最善の一致を与えるブロックが、第１の位置で第１の深さマップ

の中で特定される。ここで、最も良い一致は、最も小さい一致誤差をもたらす一致である。次に、動きベクトルによって特定されるブロックは、第２の位置で第２の深さマップへコピーされる。このアプローチは、第１の深さマップ中に存在する形状情報は、伝達されたフレームにおいて実質的に維持されることを保証する。上述のアプローチは、一致の質に関係なく、第１の深さマップから第２の深さマップへと、最も良い一致に対応する情報をコピーする。他の実施の形態の場合には、第１の深さマップ

からの情報又は中間の深さマップ

からの情報を伝達するか否かについて選択が行われる。

これらの択一的深さ値のどれを伝達すべきかに関する判定は、好ましくは一致誤差に基づく。
一致誤差が小さい場合には、第１の深さマップ

中の第１の位置を囲む空間領域と中間の深さマップ

中の第２の位置を囲む空間領域との間には、相当な相関がある。そのような状況では、第１の深さマップ

から情報を伝達することが好ましい。あるいは、一致誤差が大きい場合、動きベクトル候補が最適ではない可能性が相当あることは明らかである。この状況では、中間の深さマップ

から情報を伝達することが好ましい。

より好ましくは、一致誤差の閾値が、上述の候補を選択するために用いられる。更なる候補及び/又は更なる選択基準の追加のような、上述のアプローチに対する巧みなバリエーションが想定される。

上述のアプローチの考えられる短所は、隣接したブロックに対して異なる候補が選択される場合に、これは、結果として生じる第２の深さマップ中の不連続性をもたらす可能性があることである。そのような不連続性を防止するために、候補のうちのいずれか一方を選択する代わりに、候補を混合することも可能である。好ましくは、これらの候補の混合は、信頼性尺度(例えばマッチング誤差) によって制御される。マッチング誤差が大きい場合、これは動きベクトル候補の信頼性が比較的低いことを示す。結果として、この候補の重みは、候補を混合するときに低くされることができる。

候補の選択及び混合をさらに改善するために、中間の深さマップの深さ値の信頼性を示す信頼性尺度のような、更なる信頼性尺度が用いられることができる。バイラテラルフィルタが中間の深さマップを生成するために用いられる場合には、そのような信頼性尺度は、フィルタ重みを計算するときに、ピクセル間の最も小さい色差を決めることによって定められることができる。第１の画像及び第２の画像中のピクセル間のすべての色差が大きい場合、すなわち、すべての重みが小さい場合、バイラテラルフィルタは信頼できる深さ値を提供しない可能性が相当ある。

本説明の全体にわたって、深さ値の伝達は時間的に順方向に発生するとして考慮されるが、本発明はそれに制限されない。本発明は、双方向伝達(すなわち順方向及び逆方向伝達の両方)を適用するシナリオにおいて同様に有利に用いられることができる。双方向伝達シナリオにおいて、２つの中間の深さマップが各々のフレームに対して推定されることができ、そして２つの運動ベクトルが生成されることができる。双方向アプローチでは、好ましくは、逆方向及び順方向予測の寄与は、対応するキーフレームまでの距離に依存して重み付けられる。

本発明を最大限効果的に用いるために、中間の深さマップの生成は、第１及び第２の画像中のピクセル間の差分を好ましくは考慮しなければならないが、第１の深さマップのモルフォロジによって与えられる空間制約を課すことは控えなければならない。対照的に、動きベクトルを生成するステップは、好ましくは、深さ値が生成されているピクセルを囲む領域のモルフォロジによって与えられる空間制約を考慮する。

図7は、本発明によって、第１の画像820と関連した第１の深さマップ810から第２の画像830と関連した第２の深さマップ860まで深さ関連情報を伝達するための基本的な深さマップ伝達装置800を示す。装置800は、入力コネクタ802, 801及び803それぞれにおいて、３つの入力信号、第１の画像820, 第１の深さマップ810及び第２の画像830を受け取る。この装置は、出力コネクタ806に一つの出力信号（第２の深さマップ860)を出力する。

装置800の変形例では、注釈付キーフレームを有する画像シーケンスの形の一つの集合入力信号が、３つの入力コネクタ801, 802及び803の代わりに、一つのコネクタに入力される。同様に、一つの集合出力信号が、本発明にしたがって伝達された深さマップを有する画像シーケンスの形で提供されることができる。

装置800はさらに、第２の画像830と関連した中間の深さマップ840を生成するために配置される第１の生成手段805を含む。上記のように、中間の深さマップ840の生成は、第１の画像820及び第２の画像830のピクセルを用いて第１の深さマップ810から中間の深さマップ840へと深さ値を伝達することによって、さまざまな様式で実施されることができる。

本装置はさらに、第１の深さマップ中の第１の位置周辺の空間領域の深さ値及び中間の深さマップ中の第２の位置周辺の空間領域の深さ値を含む情報を用いて動きベクトル850を生成するために配置される第２の生成手段815を含む。

この動きベクトル850は、動きベクトル850及び第１の深さマップ810を含む情報を用いて第２の深さマップ860中の第２の位置の深さ値を生成するために配置される第３の生成手段825によって、その後用いられる。

装置800の他の実施態様が、本発明の要旨を逸脱しない範囲で想定されることができることは、当業者にとって明らかである。上記の生成手段の全てが処理作業を実行するように、第１、第２及び第３の生成手段805, 815, 825によって実行される作業は、一つのデジタルシグナルプロセッサにマップされることができる。

上記が明示的にデジタルシグナルプロセッサを言及するが、本発明はそれに制限されない。上述のデジタルシグナルプロセッサと同様の機能を提供する他の処理プラットホームが用いられることができる。これらの処理プラットホームは、プログラム可能な処理プラットホームである必要はないが、同様に専用の特定用途向けＩＣ(ASIC)から成ることができる。実際、処理作業は、本発明の要旨を逸脱しない範囲でハイブリッドハードウェア/ソフトウェアシステム中のさまざまなモジュールにわたって分割されることができる。

図8は、各々が上に記載される装置800を含むコンテンツ変換装置955及び消費者向け電子装置965を示す。コンテンツ変換装置は、入力コネクタ901上で画像シーケンス910の形の入力信号を受け取る入力前処理手段905を含む。画像シーケンス910は、装置800によって使用される第１及び第２の画像を提供する。入力前処理手段905は、人が補助するショットカット検出及びキーフレームの注釈を可能にする。その後、本発明は、非キーフレームに深さ値を伝達するために用いられることができる。加えて、コンテンツ変換装置955はさらに、例えば、出力コネクタ902上での出力のための伝達された深さマップを含む出力信号920のフォーマット選択を可能にする出力前処理手段915を含む。

消費者向け電子装置965は、画像シーケンス及び画像シーケンス中のキーフレームを選択するための深さ情報を含む入力信号930を受け取るための入力コネクタ903を含む。入力前処理手段925は、装置800による処理のための画像を準備する。動作中に、装置800は、キーフレームから非キーフレームへと効果的に深さ情報を伝達する。結果的に、入力信号930中の画像ごとに深さマップを必要とせず、このようにして、本発明はさらに送信信号のデータ圧縮を可能にする。

オプションとして、消費者向け電子装置965は、付随する深さマップによって、結果として生じる画像シーケンスを表示するための自動立体視表示手段935を含むことができる。

本説明の全体にわたって、中間の深さマップの生成は一つの処理ステップとして示されるが、中間の深さマップの生成がそれに制限されないことは当業者にとって明らかである。実際、中間の深さマップの生成が、例えば雑音抑圧を提供する後処理ステップを含むいくつかのステップを有することは、はるかに可能性がある。

本説明の全体にわたって、用語「画像シーケンス」は、なんらかの形の連続性を含む画像シーケンスとして用いられる。深さ値の伝達はそのような連続性が存在する状況においてのみ意味をなすことは当業者にとって明らかである。実質的に連続した画像シーケンスを取得するために、画像シーケンスは、実質的に連続した画像シーケンスを分離するために、ショットカット検出器に与えられることができ、又は手動で処理されることができる。

上述の実施の形態は、本発明を制限するのではなく例示し、当業者は、添付された特許請求の範囲の要旨を逸脱しない範囲で多くの他の実施例を設計することが可能であることに留意すべきである。

特許請求の範囲において、括弧間に配置される任意の参照符号は、特許請求の範囲を制限するように解釈されてはならない。

本発明の枠組みの中で、多くのバリエーションが可能であることは明らかである。本発明が、上で詳細に示されて説明されたものに制限されないことは、当業者によって認識される本発明は、いずれの新規な特徴的機能及びいずれの特徴的機能の組み合わせにも属する。特許請求の範囲の参照符号は、それらの保護範囲を制限しない。

「含む」「有する」との動詞及びその活用形は、請求の範囲中に述べられた要素以外の要素の存在を除外しない。単数形の要素は、その要素が複数存在することを除外しない。

Claims (11)

1. 第１の画像と関連した第１の深さマップから、第２の画像と関連した第２の深さマップへと、深さ関連情報を伝達する方法であって、第１の画像及び第２の画像は、画像シーケンスにおいて時間的に隣接する画像であり、当該方法は、
   第１の画像及び第２の画像のピクセルを用いて、第１の深さマップから中間の深さマップへと深さ値を伝達することによって第２の画像と関連した中間の深さマップを生成し、
   第１の深さマップ中の第１の位置周辺の空間領域の深さ値及び中間の深さマップ中の第２の位置周辺の空間領域の深さ値を含む情報を用いて動きベクトルを生成し、
   前記動きベクトル及び第１の深さマップを含む情報を用いて第２の深さマップ中の前記第２の位置の深さ値を生成する、方法。
2. 前記中間の深さマップの生成が、第１の画像の少なくとも一つのピクセル及び第２の画像の少なくとも一つの対応するピクセルに基づく重み係数を用いた第１の深さマップからの深さ値の加重加算によって当該中間の深さマップの深さ値を計算することを含み、両ピクセルは、それぞれの伝達される深さ関連情報において空間的に近接している、請求項１に記載の方法。
3. 前記重み係数は、第１の画像からの前記少なくとも一つのピクセルと第２の画像からの前記少なくとも一つの対応するピクセルとの間の差分の非線形関数に基づいて決定される、請求項２に記載の方法。
4. 第２の深さマップ中の前記第２の位置の深さ値の生成は、
   前記動きベクトル及び第１の深さマップに基づく深さ値、並びに
   前記中間の深さマップ中の前記第２の位置における深さ値に基づく深さ値、
   を含む候補から深さ値を選択することを含む、請求項１に記載の方法。
5. 第２の深さマップ中の前記第２の位置の深さ値の生成は、
   前記動きベクトル及び第１の深さマップに基づく深さ値、並びに
   前記中間の深さマップの前記第２の位置における深さ値に基づく更なる深さ値、
   を含む情報の加重加算を含む、請求項１に記載の方法。
6. 前記中間の深さマップの生成は、前記中間の深さマップの深さ値の信頼性尺度を生成することをさらに含み、前記信頼性尺度は、第２の深さマップ中の前記第２の位置の深さ値の生成に用いられる、請求項１に記載の方法。
7. 前記画像シーケンスは更なる画像シーケンスからのショットである、請求項１に記載の方法。
8. 第１の画像と関連した第１の深さマップから、第２の画像と関連した第２の深さマップへと、深さ関連情報を伝達するための深さマップ伝達装置であって、第１及び第２の画像は画像シーケンスにおいて時間的に隣接する画像であり、当該装置は、
   第１の画像及び第２の画像のピクセルを用いて、第１の深さマップから中間の深さマップへと深さ値を伝達することによって第２の画像と関連した中間の深さマップを生成する第１生成手段、
   第１の深さマップ中の第１の位置周辺の空間領域の深さ値及び中間の深さマップ中の第２の位置周辺の空間領域の深さ値を含む情報を用いて動きベクトルを生成する第２生成手段、並びに
   前記動きベクトル及び第１の深さマップを含む情報を用いて第２の深さマップ中の前記第２の位置の深さ値を生成する第３生成手段、
   を有する装置。
9. 請求項８に記載の深さマップ伝達装置を含む消費者向け電子装置。
10. 請求項８に記載の深さマップ伝達装置を含むコンテンツ変換装置。
11. 請求項１から請求項７のいずれか一項に記載の方法をプログラム可能装置に実行させるための命令を含むコンピュータプログラム。

Images