JP2012170067A - トレリス構造を用いてシーンの仮想画像を生成する方法とシステム - Google Patents

Abstract

【課題】奥行き画像における品質問題を克服し、レンダリング画像内のアーティファクトを低減することができる、トレリスに基づくビュー合成方法を提供する。
【解決手段】シーンの仮想ビューの画像が、該シーンから取得されたテクスチャ画像のセット及び奥行き画像の対応するセットに基づいて生成される。選択された画像の各ピクセルに関連付けられた候補奥行き値のセットが求められる。候補奥行き値ごとに、仮想画像の合成品質を推定するコストが求められる。最小コストを有する候補奥行き値が選択され、ピクセルの最適奥行き値が得られる。次に、各ピクセルの最適奥行き値及びテクスチャ画像に基づいて仮想画像が合成される。
【選択図】図２

Description

この発明は、包括的には奥行き画像に基づくレンダリング(ＤＩＢＲ)に関し、より詳細には、トレリス構造を用いて仮想ビューの仮想画像を生成する方法に関する。

３Ｄディスプレイは、各眼の３Ｄシーンの異なるビューの画像を提示する。従来のステレオシステムでは、左のビュー及び右のビューの画像が取得され、符号化され、格納又は送信され、その後、復号され表示される。より進んだシステムでは、既存の入力ビューとは異なる視点を有する仮想画像を合成して、向上した３Ｄ特徴、例えば、ステレオ表示の知覚奥行きの調整、及びシーンの新規の仮想ビューのための多数の仮想画像の生成を可能にし、マルチビュー自動立体ディスプレイをサポートすることができる。

奥行き画像に基づくレンダリング(ＤＩＢＲ)は、仮想画像を合成する方法であり、通常、シーンの奥行き画像を必要とする。奥行き画像はノイズを含む可能性があり、これによってレンダリング画像内にアーティファクトが生じる可能性があり、ピクセルレベルの奥行き画像は、通常、オブジェクト境界において発生する奥行き不連続部を必ずしも表すことができず、これはレンダリング画像内のアーティファクトの別の発生源となる。

図１に示すように、従来技術によるビュー合成はワーピングステップ１１０を含み、該ワーピングステップ１１０において、仮想位置に対応するピクセルが、シーンのジオメトリに基づいて、基準入力画像１０１及び１０２、すなわち基準画像のテクスチャ画像及び奥行き画像から、ワーピング画像にワーピングされる。テクスチャ画像において、各ピクセル(サンプル)は２Ｄロケーション及び輝度を有し、輝度は、３(ＲＧＢ)チャネルが用いられる場合、色とすることができる。奥行き画像において、２Ｄロケーションにある各ピクセルは、カメラからシーンへの奥行きである。

ブレンディング１２０中、入力視点ごとに、ワーピング画像が単一の画像に結合される。穴埋め１３０は、ブレンディング画像内の任意の残った穴を埋め、合成された仮想画像１０３を生成する。ブレンディングは、合成仮想画像が生成される入力視点が複数存在するときのみ実行される。

ワーピングステップは、前方ワーピング及び後方ワーピングを含むことができる。前方ワーピングでは、基準画像内のピクセル値は、３Ｄ射影を介して仮想画像にマッピングされる。一方、後方ワーピングでは、基準画像内のピクセル値は仮想画像に直接マッピングされない。代わりに、奥行き値が仮想画像にマッピングされ、次にワーピングされた奥行き画像を用いて、仮想画像内のピクセルロケーションごとに基準画像内の対応するピクセル値を求める。

仮想画像内のピクセルのほとんどは、ワーピングプロセス後にマッピングされる。一方、いくつかのピクセルは対応するマッピングされた奥行き値を一切有しない。これは、或る視点から別の視点へのディスオクルージョン(disocclusion：非遮蔽)によって生じる。マッピングされた奥行き値のないピクセルは、仮想画像の穴として知られている。

複数の入力基準画像が存在するとき、ブレンディングを用いてワーピング結果を単一の画像に統合する。いくつかの穴は、このステップ中に補完的に埋めることができる。すなわち、左の基準画像の穴は、右の基準画像からマッピングされた値を有することができる。加えて、ブレンディングによって、異なる基準画像からの異なるマッピング値が存在するときに生じるマッピング衝突を解消することもできる。例えば、加重平均を適用することができるか、又は基準画像に対する仮想視点ロケーションの近接度に依拠してマッピング値のうちの１つが選択される。

ブレンディングプロセスの後、いくつかの穴が残っている。このため、最終的な穴埋めが必要となる。例えば、インペインティングを用いて周囲のピクセル値を残りの穴に広げる(propagate)ことができる。１つの実施態様では、背景ピクセルを小さな穴に広げる。

従来技術の方法は、奥行きマップ画像におけるエラーに対処することができない。したがって、合成画像に境界アーティファクトがなくなり、かつ合成画像が、入力画像内に存在する画像特徴と幾何学的に一致するように、合成画像の品質を改善するためのより正確なビュー合成が必要とされている。

ビュー合成は、自由視点ナビゲーション、及び自動立体ディスプレイ用の画像生成を含む、複数の３Ｄビデオ用途に不可欠な機能である。この目的では通常、奥行き画像に基づくレンダリング(ＤＩＢＲ)法が適用される。

しかしながら、レンダリング画像の品質は奥行き画像の品質に非常に敏感であり、奥行き画像は通常、エラーを起こしやすいプロセスによって推定される。さらに、ピクセルごとの奥行き画像は、特に奥行き境界に沿った３Ｄシーンの理想的表現ではない。この表現によって、オクルージョン領域を有するシーンの合成結果が不自然になる可能性がある。

この発明の実施の形態は、奥行き画像における上記の制限を克服し、レンダリング画像内のアーティファクトを低減することができる、トレリスに基づくビュー合成方法を提供する。

この方法により、ワーピングされる必要があるピクセルごとに、奥行き値の候補セットが、該ピクセルの推定奥行き値及び近傍の奥行き値に基づいて特定される。各候補奥行き値のコストが、合成品質の推定値に基づいて定量化される。次に、最適期待品質を有する候補奥行き値が選択される。

従来技術のビュー合成方法のブロック図である。 この発明の実施の形態に従って構築されたビュー合成のトレリスの概略図である。 この発明の実施の形態による、次のピクセルの奥行き値を予測するのに用いられる近傍のピクセルの概略図である。 この発明の実施の形態による、次のピクセルの奥行き値を予測するのに用いられる近傍のピクセルの別の概略図である。 この発明の実施の形態による、次のピクセルの奥行き値を予測するのに用いられる近傍のピクセルの別の概略図である。 この発明の実施の形態による、異なるコスト関数を割り当てられた奥行き境界を増減することの概略図である。 この発明の実施の形態による、トレリスに基づくビュー合成の方法のフローチャートである。 この発明の実施の形態による、トレリスに基づくビュー合成の非反復的方法のフローチャートである。 この発明の実施の形態による、トレリスに基づくビュー合成の反復的方法のフローチャートである。

奥行き画像は、推定プロセス又は取得プロセスによって生じたエラーを有する可能性がある。加えて、ピクセルごとの奥行き画像の表現は、奥行き不連続性において必ずしも正確であるとは限らない。

したがって、この発明の実施の形態は、奥行き画像の表現及び推定における制限を克服するトレリスに基づくビュー合成方法を提供する。奥行き画像は、レンジカメラによって取得することもできるし、左テクスチャ画像及び右テクスチャ画像における立体視差対応から推定することもできる。この方法は、奥行き画像に基づくレンダリング(ＤＩＢＲ)のワーピングプロセス中に適用される。

図２は、この発明の実施の形態によるビュー合成のために構築されたトレリス２０１の一例を示している。トレリス２０１は、所定の数のピクセルについて構築される。１つの実施の形態では、画像ピクセルの１つのラインがトレリスに構成され、ワーピングプロセスはラインごとに実行される。すなわち、トレリスの各列は異なる奥行き値Ａ〜Ｄを有する１つの画像ピクセルを表す。トレリスの各列内のノードは、仮想画像内のそのピクセルの候補奥行き値マッピングを表す。

第１のステップにおいて、奥行き値のセット２０２がピクセルごとに特定される。セットは、入力奥行き画像から推定された奥行き値、及び近傍の奥行き値に基づくいくつかの他の候補奥行き値を含む。候補奥行き値の数は、トレリス内の行数に対応する。図２では、各ピクセルはトレリス内の４つの行に対応する４つの奥行き値Ａ〜Ｄを有する。

第２のステップにおいて、コスト関数を用いて合成品質を推定する。合成品質は最適候補奥行き値を選択する判断基準である。

候補奥行き値のセットを求める
第１のステップにおいて、入力奥行き画像からの推定奥行き値を含む候補奥行き値のセットが特定される。この値に加えて、いくつかの他の候補奥行き値が近傍の奥行き値から特定される。候補奥行き値は、入力奥行き画像からの推定奥行き値が正しくないとき、すなわち該奥行き値によってアーティファクト又は入力画像との不一致が生じるときに用いることができる。以下で、最適候補奥行き値を求めるいくつかの方法を説明する。

候補奥行き値のセットを求める１つの方法は、入力奥行き画像からの推定値に対する所定の増加及び／又は減少を用いる方法である。例えば、推定奥行き値が５０である場合、奥行き値の候補セットは、｛４９，５０，５１｝を含むことができる。１以外の係数によるインクリメントも検討することができる。値の数は可変とすることもでき、必ずしも推定奥行き値を中心に対称である必要はなく、例えばセットは｛４６，４８，５０，５２，５４｝とすることもできるし、｛４８，４９，５０，５２，５４｝とすることもできる。候補奥行き値は、ルックアップテーブルによって求めることもできる。ルックアップテーブルでは、候補奥行き値は場合によっては推定奥行き値ごとに変動することができる。

候補奥行き値のセットを求める第２の方法は、近傍のピクセルからの奥行き値に基づく予測値を用いる方法である。例えば、近傍の奥行き値からの平均値又は中央値を用いることができる。所定のウィンドウサイズを用いて、予測において検討する近傍ピクセルの数を確定することもできる。

好ましい方法は、ウィンドウ内に、同じラインからの前のピクセルを含める。図３では、左からの同じライン内の４つのピクセル３０１がウィンドウ内にある。図４では、上記のラインからの同じ列内の４つのピクセル４０１がウィンドウ内にある。図５において、ピクセル５０１の４×４のウィンドウが特定される。別の実施態様では、ピクセルは任意の形状に適合することができる。候補奥行き値の数が増加する結果として、計算複雑度が増加する。なぜなら、各候補がチェックされ、比較されるためである。

図２では、ピクセルごとに候補奥行き値の数が４にセットされている。１つの例では、奥行き値Ａ(下から１行目)は入力奥行き画像からの推定奥行き値を表す。奥行き値Ｂ及びＣ(中央の行２及び３)は、それぞれ奥行き値Ａを１だけ増減した奥行き値である。奥行き値Ｄ(最上行)は、図３に示すように近傍のピクセルからの中央奥行き値を用いることによって予測された奥行き値を示す。

動的プログラミングを用いたビュー合成
候補奥行き値のセットが求められた後、トレリス内の各ノードは、合成品質を推定するコスト関数に従ってメトリックを割り当てられる。次に、ビュー合成問題は、トレリスにわたって奥行き値の最適なセットを求めることによって解決される。動的プログラミングを用いて最適化問題を解決する。

合成品質を推定するために、コスト関数として評価関数が定義される。コスト関数は、ワーピングプロセスが前方ワーピングであるか、又は後方ワーピングであるかに依拠することができる。一般性を損なうことなく、この発明の好ましい実施の形態について後方ワーピングを仮定してコスト関数の定義を説明する。この定義は前方ワーピングにも同様に容易に適用することができる。

１つの実施態様では、コスト関数はピクセルの２つの正方形ブロック間の平均二乗誤差(ＭＳＥ)を評価する。これらのブロックはピクセルロケーションに対し左上のブロックである。(ｘ，ｙ)が現在のピクセルロケーションを表すものとし、(ｘ’，ｙ’)が候補奥行き値を用いてワーピングされた位置を表すものとする。

第１のブロックは合成仮想画像内の(ｘ−ｓ，ｙ−ｓ)〜(ｘ，ｙ)に位置し、第２のブロックは基準画像内の(ｘ’−ｓ，ｙ’−ｓ)〜(ｘ’，ｙ’)に位置する。ここで、ｓはブロックサイズである。ブロックの一部分が画像エリアを越えている場合、クロッピングが適用される。

ＭＳＥ以外のエネルギー関数もコスト関数として用いることができる。例えば、平均絶対誤差は、合成品質を推定する有効なコスト関数である。また、画像特徴又は構造類似度(structural similarity measure)もブロックから抽出することができ、整合プロセスを用いてブロックが幾何学的に一貫しているか否かを判断することができる。

前景オブジェクトにおける任意のアーティファクトは、人間の眼によって、より容易に知覚されるので、前景のオブジェクトを一貫した方式で合成する方法が必要とされている。このため、この方法では、コストメトリックを求めるのに左上のブロックが必ずしも用いられるとは限らない。

図６に示すように、ピクセルは３つのタイプのエリア、すなわち、図６に示すような第１のエリア６０１、奥行き減少エリア６０２、及び奥行き増加エリア６０３に分類される。奥行き減少境界(図６の右境界)又はフラットエリアにあるピクセルの場合、左上ブロックが用いられる。奥行き増加境界(図６の左境界)にあるピクセルの場合、右上ブロックが用いられる。

いくつかの応用形態では、合成プロセスへの入力として、推定奥行き画像に加えて信頼マップも用いることができる。奥行き推定器が高い信頼度を示すとき、奥行き画像からの奥行き値のコスト関数を係数によって重み付けすることができる。

システムの実施の形態
以下において、トレリスに基づく画像合成について図７〜図９に示す３つの実施の形態を説明する。これらの実施の形態は、複雑度の昇順で並べられる。図において、「サンプル」は様々な画像内のピクセルである。

図７に示すような第１の実施の形態において、限られた複雑度で局所最適化が実行される。この実施の形態では、候補奥行き値選択は前のピクセルからの最適奥行き候補の選択に依拠しない。したがって、候補奥行き値割当て及びピクセルの評価を並行に実行することができる。この実施態様のステップごとの説明を以下に記載する。

図７〜図９に示すステップは、当該技術分野において既知のメモリ及び入力／出力インターフェースに接続されたプロセッサにおいて実行することができる。仮想画像を表示デバイスにレンダリング及び出力することができる。代替的に、ステップは、ビデオ符号化器又は復号器(コーデック)内のディスクリート電子部品を含む手段を用いてシステム内に実装することができる。より具体的には、ビデオ符号化／復号システムに関しては、この発明において説明される仮想画像を生成する方法を用いて、他のビューの画像を予測することもできる。例えば、参照によりこの明細書に援用される、米国特許第７，７２８，８７７号「Method and system for synthesizing multiview videos」を参照されたい。

ステップ７０１：トレリス内の全てのピクセルの候補奥行き値を特定する。このステップにおいて、以下の候補が求められる。
ａ．奥行き値Ａ：現在のピクセルの奥行き画像においてシグナリングされている奥行き値を選択する。ピクセルがそのライン内の第１のピクセルでない場合、以下のように２つの更なる奥行き値候補が選択される。
ｂ．奥行き値Ｂ：同じラインの前の複数のピクセルの奥行き画像においてシグナリングされた奥行き値のセットにおいて、奥行き値Ａと最も異なる奥行き値を選択する。前のピクセルは図３に示すものである。４つの前のピクセルが好ましい。
ｃ．奥行き値Ｃ：奥行き値Ｃは奥行き値Ｂと異なり、同じラインから選択され、図４に示すように上記のラインからの同じ列内の奥行き値間で選択され、奥行き値Ａと最も異なる。
ｄ．奥行き値Ｄ：この実施の形態ではそのような候補奥行き値はない。

ステップ７０２：各ピクセルの候補奥行き値ごとのコストを評価する。

ステップ７０３：ピクセルごとの全ての候補奥行き値のコストを比較し、最小コストを有する候補奥行き値を求める。ピクセルごとに対応する奥行き値を選択する。

図８は、複雑度が制限された局所最適化でもある第２の実施の形態を示している。この実施態様では、トレリスの列内の候補奥行き値割当ては、トレリス内の直前のピクセル又は列の最適奥行き選択に依拠する。以下は、この実施態様のステップごとの説明である。

ステップ８０１：インデックスｉを初期化する。

ステップ８０２：ピクセルｉの候補奥行き値を特定する。このステップにおいて、図７に示す実施の形態と同様にして選択された３つの奥行き値候補を含む。しかしながら、奥行き値Ｂ及びＣを導出するとき、前のピクセルからの最適奥行き値が用いられ、これは奥行き画像においてシグナリングされるものと異なり得る。

ステップ８０３：ピクセルｉの奥行き候補ごとのコストを評価する。

ステップ８０４：すべての奥行き候補のコストを比較し、ピクセルｉの最小コストを求める。

ステップ８０５：トレリス内で処理されていない更なるピクセルが存在する場合、ｉを１だけ増加し(８０６)、反復する。

第１の２つの実施の形態では、最適奥行き候補は局所コスト関数を評価することによってトレリス内で行ごとに選択される。第３の実施の形態では、列からの奥行き候補を結合したものである、トレリスにわたる最適経路が求められる。経路コストは、経路内のノードコストの和として定義される。

異なる経路内のノードに異なる奥行き値を割り当てることができるので、ノードは異なる経路内で異なるコスト値を呈することができる。この実施の形態は図９に示されている。手順は、ｉ及びｐにわたって反復する２つのループからなる。外側のループは全ての可能な経路にわたるものである一方、内側のループは可能な経路内の全てのノードについてのものである。

潜在的な経路ごとに、経路内で順次、ノードの候補奥行き値を特定し(９０１)評価する(９０２)。奥行き候補割当ては以下のように求められる。経路内に更なるピクセルがあるか否かを判断する(９０３)。

次のノードが行「奥行き値Ａ」に位置する場合、ノードは奥行き画像内でシグナリングされた通りの奥行き値にセットされる。ノードが行「奥行き値Ｂ」に位置する場合、同じライン内の前のピクセルの所与の奥行き値のセットからの中央値である奥行き値を選択する。前のピクセルの所与の奥行き値が現在の経路について指定される。ノードが行「奥行き値Ｃ」に位置する場合、ノードは、画像内の上記のラインの同じ列からの奥行き値の中央値として選択される。

異なる経路が同じノードを交差している場合、該同じノードについて奥行き値Ｂに異なる値を割り当てることができる。奥行き値Ａ及びＣは異なる経路について同じままにされる。

経路内の全てのノードが評価された後、ノードコストの合計として経路コストが求められ(９０４)、更なる経路がない場合(９０５)、最小コストを有する経路が最終合成結果のために用いられる(９０６)。

Claims (20)

1. シーンの仮想ビューの画像を、該シーンから取得されたテクスチャ画像のセット及び奥行き画像の対応するセットに基づいて生成する方法であって、
   選択された画像の各ピクセルに関連付けられた候補奥行き値のセットを求めるステップと、
   前記候補奥行き値ごとに、仮想画像の合成品質を推定するコストを求めるステップと、
   前記ピクセルの最適奥行き値を得るために、最小コストを有する前記候補奥行き値を選択するステップと、
   前記各ピクセルの前記最適奥行き値及び前記テクスチャ画像に基づいて前記仮想画像を合成するステップと、
   を含み、前記ステップはプロセッサにおいて実行される、シーンの仮想ビューの画像を、該シーンから取得されたテクスチャ画像のセット及び奥行き画像の対応するセットに基づいて生成する方法。
2. 前記候補奥行き値のセットは前記仮想画像から求められる、請求項１に記載の方法。
3. 前記候補奥行き値のセットは前記入力テクスチャ画像のセットから求められる、請求項１に記載の方法。
4. 前記候補奥行き値のセットを求めるステップは、前記ピクセルの近傍における前のピクセルと無関係である、請求項１に記載の方法。
5. 前記候補奥行き値のセットを求めるステップは、前記ピクセルの近傍における前のピクセルに依拠する、請求項１に記載の方法。
6. 前記ピクセルごとに、エリアのタイプを、奥行き減少境界エリア、フラットエリア、又は奥行き増加境界エリアのいずれかとして分類するステップと、
   前記エリアのタイプに基づいて前記ピクセルごとに一意のコスト関数を割り当てるステップと、
   を更に含む、請求項１に記載の方法。
7. 前記最小コストを有する前記候補奥行き値を選択するステップは、動的プログラミングを用いて実行される、請求項１に記載の方法。
8. 前記仮想画像を表示デバイスに出力するステップ、
   を更に含む、請求項１に記載の方法。
9. 前記候補奥行き値のセットはトレリスを用いて求められ、該トレリスのノードの各列は、該トレリスの行内に異なる候補奥行き値を有する１つのピクセルを表す、請求項１に記載の方法。
10. 前記コストはコスト関数によって求められ、前記コスト関数は、ピクセルの２つの正方形ブロック間の平均二乗誤差を評価する、請求項１に記載の方法。
11. 前記候補奥行き値の前記コストは信頼マップに従って重み付けされる、請求項１に記載の方法。
12. 前記コストはコスト関数によって求められ、前記コスト関数は、ピクセルの２つの正方形ブロック間の構造類似性を評価する、請求項１に記載の方法。
13. 前記仮想画像を予測子として用いて他の画像を符号化するステップ、
    を更に含む、請求項１に記載の方法。
14. 前記奥行き候補値は、前記奥行き画像内の対応するピクセルの前記奥行き値の所定の増加に従って求められる、請求項４に記載の方法。
15. 前記奥行き候補値は、前記奥行き画像内の対応するピクセルの前記奥行き値の所定の減少に従って求められる、請求項４に記載の方法。
16. 前記奥行き候補は、前記奥行き画像内の近傍ピクセルからの前記奥行き値の平均として求められる、請求項５に記載の方法。
17. 前記奥行き候補は、前記奥行き画像内の近傍ピクセルからの前記奥行き値の中央値として求められる、請求項５に記載の方法。
18. 前記奥行き候補値は、前記奥行き画像内の対応するピクセルの前記奥行き値と、近傍のピクセルからの前記奥行き値との間の最大差に従って求められる、請求項５に記載の方法。
19. 前記候補奥行き値は、以前のコスト推定値に基づいて選択された最適奥行き値を有する近傍のピクセルから求められる、請求項５に記載の方法。
20. シーンの仮想ビューの画像を、該シーンから取得されたテクスチャ画像のセット及び奥行き画像の対応するセットに基づいて生成するシステムであって、
    選択された画像の各ピクセルに関連付けられた候補奥行き値のセットを求める手段と、
    前記候補奥行き値ごとに、仮想画像の合成品質を推定するコストを求める手段と、
    前記ピクセルの最適奥行き値を得るために、最小コストを有する前記候補奥行き値を選択する手段と、
    前記各ピクセルの前記最適奥行き値及び前記テクスチャ画像に基づいて前記仮想画像を合成する手段と、
    を備え、前記各手段はプロセッサにより実行される、シーンの仮想ビューの画像を、該シーンから取得されたテクスチャ画像のセット及び奥行き画像の対応するセットに基づいて生成するシステム。

Images