JP2011501496A - 奥行きマップを処理する方法及び装置 - Google Patents

Abstract

本発明は、奥行きマップ７１０を処理するための方法及び装置に関する。前記方法は、物体を有する、ある視点からの場面の奥行き情報を有する奥行きマップを不可逆圧縮された奥行きマップに基づいて得るステップ、前記奥行きマップにおいて前記物体により遮蔽される情報を有する、前記視点からの場面に対する遮蔽情報を得るステップ、及び前記奥行きマップにおける圧縮アーチファクトを減少させるために、前記遮蔽情報の少なくとも一部を用いて前記奥行き情報の少なくとも一部を処理するステップを有する。

Description

本発明は、奥行きマップ(depth-map)を処理するための方法及び装置に関する。

長い間、様々な企業が三次元（３Ｄ）画像を描画するのに適した裸眼立体視ディスプレイを積極的に開発してきた。裸眼立体視装置は、特別な帽子及び／又は眼鏡を必要とせずに閲覧者に３Ｄの印象を与えることができる。

裸眼立体視ディスプレイは一般的に、異なる視角に異なる表示（ビュー）を供給する。このように、閲覧者の左目に対し第１の画像が生成され、右目に対し第２の画像が生成されることができる。適切な画像、すなわち右目及び左目夫々の視点から適切な画像を表示することにより、閲覧者に３Ｄの印象を伝えることが可能である。

裸眼立体視ディスプレイのための画像を生成するために様々な技術が用いられる。例えば、複数のカメラを用いてマルチビュー(multi-view)画像が記録されることができ、ここで、夫々のカメラの位置は各ビューの夫々の視点に対応している。

下位互換性を維持すると共に、帯域幅の利用を改善させるために、現在の裸眼立体視ディスプレイの多くは、従来の二次元（２Ｄ）画像のシーケンス及び対応する奥行きマップを有する入力信号を使用している。

奥行きマップは、画像に表される物体のカメラまでの絶対及び相対距離を示す奥行き情報を提供する。例として８ビットのグレイスケール画像が一般的に奥行き情報を表すのに用いられる。奥行きマップは、ピクセル毎に奥行き情報を提供することができるが、当業者には明白であるように、各奥行きマップの値が複数のピクセルに奥行き情報を供給する低解像度の奥行きマップのような、粗い粒度を用いてもよい。

上述した奥行きマップの代替えとして、視差マップが用いられることができる。視差は、例えば左目及び右目の視点からのような、２つの異なる視点から観察されるとき、場面における物体の見掛けの移動のことを意味する。一般に当業者には知られているように、視差情報及び奥行き情報は関連があり、視差マップの夫々の視点の幾何学的配置が分かっている場合、互いにマッピングされることができる。

この密接な関係及び一方がもう一方に変換されることが可能であるという事実を考慮して、本明細書を通して用いられる用語"奥行きマップ"及び"奥行き情報"は、視差情報と同様に奥行き情報も有すると理解される。

裸眼立体視ディスプレイに画像シーケンス及び対応する奥行き情報のマップ、略して奥行きマップのシーケンスを供給することにより、この裸眼立体視ディスプレイは、１人以上の閲覧者に対するコンテンツのマルチビューを描画することができる。上記方法で、従来の信号は奥行きマップを用いて強化される。

２Ｄ＋奥行き信号を用いて描画するマルチビューの品質を向上させるために、非遮蔽(de-occlusion)情報とも呼ばれる追加の遮蔽(occlusion)情報が供給される。（非）遮蔽情報は、供給される２Ｄ＋奥行き情報の視点以外の視点に対するビューを描画するのに用いられる画像及び／又は奥行き情報に関する。この２Ｄ＋奥行き情報の視点とは異なる視点に対する２Ｄ＋奥行き情報に基づくビューを描画するとき、本来の２Ｄ＋奥行き情報には存在しない情報が必要とされる。この情報は、前記遮蔽情報に供給されてもよく、物体により遮蔽された情報に加え、この遮蔽情報は遮蔽領域付近における情報も有する。この遮蔽情報の利用可能性は、２Ｄ＋奥行き信号を用いてビューを描画するときに生じる穴を埋めることを可能にする。本出願を通して、遮蔽情報という用語は、ビュー描画処理において非遮蔽領域を穴埋めするのに用いられる遮蔽画像情報及び／又は遮蔽奥行き情報を有すると理解される。

国際特許出願公開番号WO2006/137000は、画像データと他のデータ、例えば遮蔽データの結合交換(combined exchange)の方法を開示している。上記形式が特に、例えばセットトップボックス（ＳＴＢ）とディスプレイとの間における３Ｄコンテンツの前記交換によく適していたとしても、帯域幅を制限した媒体を介して上記３Ｄコンテンツを伝送又は配信するとき、このような３Ｄコンテンツの大きさをさらに減少させる必要がある。不可逆圧縮アルゴリズム、例えば不可逆なＤＣＴベースの圧縮アルゴリズムが大きさの大幅な減少を提供したとしても、これらアルゴリズムはノイズを生じさせる傾向もある。第２回IEEE BENELUX/DSP Valley Signal Processing Symposiumで表されたChris Varekamps著、"Compression artifacts in 3D television signals"は、奥行きマップにおけるノイズの影響が、マルチビュー描画処理の結果として、特に物体の境界において重大な視差エラーを生じることを示している。この影響は、前記圧縮アルゴリズムが前記結果生じる描画されたマルチビュー画像にではなく、奥行きマップにおいて知覚されるエラーを減少させるために調整されている事実という必然的な結果である。

本発明の目的は、不可逆圧縮方式によって作り出される奥行きマップにおけるノイズの影響を減少させることを目的とする奥行きマップを処理する方法を提供することである。

本目的は、本発明による方法が
−物体を有する、ある視点からの場面の奥行き情報を有する奥行きマップを不可逆圧縮された奥行きマップに基づいて得るステップ、
−前記奥行きマップにおいて前記物体により遮蔽される情報を有する、前記視点からの場面に対する遮蔽情報を得るステップ、及び
−前記奥行きマップにおける圧縮アーチファクトを減少させるために、前記遮蔽情報の少なくとも一部を用いて前記奥行き情報の少なくとも一部を処理するステップ
を有するので達成される。

本発明はこれにより、前記奥行き情報が処理する部分に、非遮蔽範囲の情報を提供することを本来は目的とした遮蔽情報を使用する。奥行きマップに存在する例えばモスキートノイズ及びスペックルのようなノイズは、遮蔽情報と同様に奥行きマップからのデータを用いて減少することができる。

この遮蔽情報が遮蔽画像情報に関する場合において、この遮蔽画像情報は、遮蔽領域の境界に関して情報を供給するのに用いられることができる。結果として、この奥行きマップは、遮蔽境界付近における奥行きマップのノイズを減少させるために、例えばＫ平均(K-means)と同様のアルゴリズムのようなエッジ保存機能を用いてフィルタリングされることができる。

代替的に、遮蔽画像情報は、遮蔽領域に奥行きマップを再生するための、当業者に知られた周知の発見的方法と一緒に使用されてもよい。前記遮蔽領域に対する、奥行きマップ形式の出力は、この奥行きマップをフィルタリングするための追加の情報を供給するために用いられ、このように、圧縮アーチファクトの結果として、遮蔽領域に対する奥行きマップの背後に位置決められるように見える奥行き値は、この遮蔽領域に対する奥行きマップからの値を用いて訂正されることができる。

さらに代替的に、遮蔽情報が遮蔽奥行き情報に関するとき、この遮蔽奥行き情報は、前記奥行きマップを直接、すなわち境界を規定する必要なく、すなわち遮蔽奥行きマップの情報を再生する必要なしに、フィルタリングするのに使用されることができる。

ある実施例において、前記処理ステップは、物体に関する奥行き情報における遷移の周辺の領域内の奥行き情報の少なくとも一部を処理するステップを有する。不可逆圧縮方式は一般に、激しい奥行きの遷移を正確に示すことに若干問題がある。しばしば、ある種の量子化、リンギング(ringing)及び／又はゴーストは、このような遷移付近に生じる。困ったことに、上記奥行きの遷移におけるノイズは通例、この奥行き情報を用いて描画されるビューにおいて非常に目立つアーチファクトとなる。従って、この特定の実施例は、必要とされる処理量と知覚される改善との間における有利な妥協点を示す。

特に効率のよい他の実施例において、情報が物体の輪郭に関して利用可能であるという条件で、奥行き情報を処理するステップは、前記物体周辺の領域内で行われる。

ある実施例において、処理する領域の大きさに関する情報を提供するメタデータが供給される。結果として、最少の処理量が事前に指定されることができ、これにより最終的な出力によるコンテンツ作成者の制御を提供する。

本発明は、不可逆圧縮された奥行きマップを生成するのに用いられる不可逆圧縮アルゴリズムが奥行き情報における遷移の周辺にノイズを生じさせる実施例において特定の利点と共に用いられる。さらに、本発明は、不可逆圧縮された奥行きマップを生成するのに用いられる不可逆圧縮アルゴリズムがこの不可逆圧縮された奥行きマップに奥行き情報を示すための周波数領域表現を用いる実施例において特定の利点と共に用いられる。

ある実施例において、本発明はさらに、奥行き情報において第１の遷移を設定するステップを有する。好ましくは、この実施例は、遮蔽奥行き情報を用いて第２の遷移も設定する。前記第１の遷移は、エッジが実質的に保存される必要がある領域に対し処理量を制限するのに使用される。第１の遷移及び第２の遷移により供給される情報を組み合わせることにより、奥行き情報が遷移を有する及び遮蔽奥行き情報が連続している場所を決めることが可能である。不可逆圧縮アーチファクトはしばしば、奥行き情報における遷移の近くに見られる。故に、遮蔽奥行き情報が中央ビューに見ることができる奥行き情報も有し、この遮蔽奥行き情報に上記遷移が存在していない場合、この奥行き情報は、前記遷移を有する奥行き情報からの奥行き情報よりも統計上より信頼できる。

本発明による実施例において、奥行き情報及び遮蔽情報は、符号化された画像シーケンス、例えば伝送チャンネルを介して伝送される符号化されたデータストリーム又は記憶媒体に配信される符号化されたデータストリームに供給される。好ましくは、処理される領域の大きさに関する情報を供給するメタデータ、例えば拡張係数は、同一の符号化されたデータストリームに供給される。代替的に、拡張情報は、例えば物体の拡張する境界を明確に符号化することにより、非一様な拡張領域の応用を可能にするために符号化される。

ある実施例において、前記処理ステップは、奥行きの遷移付近における前記奥行き情報からのピクセルに対する置換基準を設定するステップを有し、前記置換基準はピクセルが属する遷移の側を分類する。結果として、奥行き情報からのピクセルは、前記置換基準に基づく置換ピクセルにより条件付きで置き換えられ、この置換ピクセルは置換基準により示されるように、空間的状況に統計上対応している。本実施例において、前記置換基準及び置換ピクセルの少なくとも１つは遮蔽情報に基づいている。故に、追加の遮蔽情報は、前記奥行き情報の圧縮の結果としてノイズを補償するのに用いられる。

本発明の目的はさらに、
−物体を有する、ある視点からの場面の奥行き情報を有する奥行きマップを不可逆圧縮された奥行きマップに基づいて得るために配される手段、
−前記奥行きマップにおいて前記物体により遮蔽される情報を有する、前記視点からの場面に対する遮蔽情報を得るために配される手段、及び
−前記奥行きマップにおける圧縮アーチファクトを減少させるために、前記遮蔽情報の少なくとも一部を用いて前記奥行き情報の少なくとも一部を処理するために配される手段
を有する本発明による装置を用いて達成される。

中央ビューに対する非遮蔽データを示す。 画像データ、奥行きデータ、画像遮蔽データ及び奥行き遮蔽データを有する入力信号の４象限表現を示す。 効率良く符号化された遮蔽情報を用いた４象限表現を示す。 他の４象限表現を示す。 好ましい４象限表現を示す。 不可逆圧縮から生じる圧縮アーチファクトを有する奥行きマップと同様に、グランドトゥルースの奥行きマップを示す。 本発明による処理を伴う及び伴わない不可逆圧縮された奥行きマップに基づいて描画されるビューを示す。 本発明による装置を示す。 本発明による装置を有する民生機器を示す。

本発明のこれら及び他の有利な態様は、以下の図面を使用してより詳細に説明される。

これら図面は、縮尺通りに描かれていない。一般的に、同一の構成要素は、これら図面において同じ参照番号により示されている。

裸眼立体視ディスプレイ及び／又は他の立体視ディスプレイ装置の導入時に３Ｄコンテンツを提供するために、従来の２Ｄコンテンツが最初にエンドユーザ側において２Ｄから３Ｄに変換される。しかしながら、ディスプレイ側で生成した奥行きマップは一般に不完全であり、２Ｄコンテンツ信号に奥行き情報が無いことにより生じるので、良好な奥行きマップに対する必要性が存在している。

取得側及び／又は伝送側で生成する奥行きマップは、取得側においてリソース要求が一般的に出されないという事実により、かなり高い品質を持つことができる。その上、データをリアルタイムで生成させる必要がないので、スループットタイムも出されない。加えて、専門的環境において、例えばステレオ入力、さらにはマルチビュー入力の形式の映像(footage)のようなより多くの情報の利用が一般的に存在する。最後に、特にスタジオの環境においてコンテンツを作成するために、取得側において対話形式でコンテンツを作成する可能性も存在している。

奥行きマップが取得側で生成される場合、これら奥行きマップの表示に必要とされる追加の帯域幅は重要な要因である。その上、このような奥行きマップを伝送するための規格も必要である。

高品質の奥行きマップは、３Ｄディスプレイに良好な奥行きの印象を伝えることを可能にする。しかしながら、この改善された奥行きの再現の結果として、アーチファクト、例えば中央ビュー(center view)において、最前面の物体により遮蔽される情報の非遮蔽により生じるアーチファクトが（さらに）見えることになる。

遮蔽データは、ディスプレイ及び取得側で生成することができる。再び取得側において、生成した遮蔽データの品質はかなり高くなることができる。従って、取得側で生成した遮蔽データが好ましい。この取得側で生成した遮蔽データはディスプレイ側で用いられ、３Ｄディスプレイに表示するビューを描画する。一次近似として、遮蔽範囲を描くための、見えている背景からの奥行き／視差データを使用することが可能であっても、この一次近似には限界がある。

画像情報及び／又は奥行き情報の形式の遮蔽データに注釈を付けることは、より高品質な描画を可能にする。しかしながら、符号化という観点から、追加のデータはさらにビットレートを増大させる、すなわち品質に影響を及ぼす。画像、奥行きマップ、遮蔽された画像情報及び遮蔽された奥行き情報を有する生成したデータは、伝送又は配信する前に実質的に符号化されることができる。このような実施の費用を減らすために、上記情報を符号化するための現存するアルゴリズム、例えば従来のＨ．２６４エンコーダを使用することが好ましい。

しかしながら、従来のエンコーダを用いた実験中、圧縮及び後続する復元の後の奥行きマップの品質は、目に見えるアーチファクトを生じさせないために高くなければならない。この問題に取り組む１つの方法は、遮蔽情報に対する圧縮要件を低くすることにより。符号化の点から、これは好ましくない。

しかしながら、本発明は、画像データに対応する奥行き情報を有する奥行きマップに存在及び任意には遮蔽情報にも存在するノイズを減少させることを目的とする後処理ステップ形式の代替案を提案する。

遮蔽／非遮蔽
図１は、遮蔽の概念を説明している。図１は、上部の水平線Ｂとして表される背景及びこの水平線Ｂと中央ビュー２０との間に位置決められた線分Ｆにより表される物体を有する場面の上面図を表している。この画像は、中央ビュー２０から感知されるように符号化される。これは、画像データ、遮蔽された画像のデータ、奥行きデータ及び遮蔽された奥行きのデータがこの中央ビュー２０に対し符号化されることを意味している。

描画エンジン又は代替的にディスプレイにおいて、前記中央ビューのデータは、少なくとも２つの画像を描画するのに使用される。この中央ビューのデータは、夫々情報Ｃ１、Ｃ２及びＣ３を有する。しかしながら、左目の視点から情報Ｌ１及びＬ２は見ることができ、同様に右目の視点から情報Ｒ１及びＲ２は見ることができる。左目の視点１０から、中央ビュー２０において物体Ｆにより画像が遮蔽された情報が見ることができ、この遮蔽情報は矢印ＯＬを用いて示される。同様に、右目の視点３０から、中央ビュー２０において物体Ｆにより画像が遮蔽された情報を見ることができ、この遮蔽された情報は矢印ＯＲを用いて示される。

上記事例において、矢印ＯＬ及びＯＲにより示される領域に対する画像遮蔽情報が加えられる。

図２は、中央ビューの画像２０５、遮蔽データ２１５並びに右側に夫々対応する奥行きマップ２０１及び２２０を示す。本実施例における奥行き値は、奥行き値が明るいほど、物体が閲覧者に近いように符号化される。当該場面は、室内において空中に浮いている携帯電話を描いている。本実施例において、場面全体に対し遮蔽データが提供されたとしても、図３、４及び５に説明されるように、これは本発明で義務付けられていない。ここに示される実施例において、遮蔽データは中央ビューに対し生成することに注意すべきである。結果として、この遮蔽データ／第２の層は、中央ビューにある物体がこの中央ビューから取り除かれるときに見ることができるデータである。しかしながら、本発明は、中央を外れた視点、例えば左目又は右目の視点のどちらか一方に対し前記画像及び奥行き情報が符号化される実施例に応用されてもよい。

図３は、フレーム枠により示されるような携帯電話の背後にある領域に対する遮蔽データが提供されるもう１つの表現を示す。本実施例において、物体の境界の上に延在している正方形に対し遮蔽画像情報及び遮蔽奥行き情報が提供される。この特定の表現（及び図２に示される表現）の利点は、遮蔽画像情報及び遮蔽奥行き情報は、物体と背景との間における奥行きの遷移付近の情報と同様に、物体の背後にある領域に情報を提供することである。結果として、両方の領域におけるアーチファクトは、前記遮蔽画像及び／又は奥行き情報を用いてフィルタリングされることができる。

図４は、携帯電話により遮蔽された領域にのみ遮蔽データが提供されるもう１つの表現を示す。この特定の表現の利点は、それのコンパクトな大きさであり、しかしながら欠点は、物体の境界に関して十分な情報を提供しないことである。しかしながら、物体内の奥行きマップにある符号化アーチファクトの除去を可能にし、結局、奥行きマップ２１０における奥行き情報は、遮蔽奥行き情報４２０に供給される奥行き情報５１０の前になければならない。

図５は、他の好ましい表現を示す。この表現はもう一度、画像２０５及び奥行きマップ２１０を有する。加えて、低解像度の遮蔽画像５０５及び対応する遮蔽奥行き情報５１０を具備する。この遮蔽画像５０５及び遮蔽奥行き情報において広く行われるグレイ諧調は、例えば符号化効率を理由に符号化される抑えた範囲(muted area)を示す。

マルチビューの画像が合成される前に、前記低解像度の画像がアップスケールされなければならない。アップスケールは、素朴な方法で行われるか、又は同時係属している国際特許出願IB2007/051701（出願人整理番号PH005826）に開示されるような色適応型バイラテラルアップスケーリングフィルタ(color-adaptive bilateral up-scaling filter)を用いて知的に行われるかである。次いで、前記抑えた範囲は、画像２０５及び奥行きマップ２１０の夫々のピクセル値に置き換えられる。結果生じる遮蔽情報は、図２に示される情報に似ている。

図２、３、４及び５は、階層化した奥行き画像（ＬＤＩ）形式の一次近似を示す。この階層化した奥行き形式を詳細に説明するために、読み手は、J. Shade, S. Gortler, L. He, R. Szeliski著、"Layered depth images" in SIGGRAPH Proceedings of the 25^th conference, 1998を参照されたい。

符号化効率の観点から、遮蔽層に対する奥行きマップを省略することもさらに考えられる。この場合、遮蔽画像情報は、奥行き情報２１０のフィルタリングを制御するのに用いられることができる。後者の事例において、奥行きマップの品質を改善するために
−遮蔽画像情報を用いて奥行き情報を処理する、
−遮蔽画像情報を用いて遮蔽奥行き情報を再生する及び遮蔽奥行き情報を用いて奥行き情報をフィルタリングする
２つの取り組みが存在している。

第１の取り組みに従って、画像情報２０５及び遮蔽画像情報４１５は、物体の境界を設定するために用いられる。その後、奥行きマップ２１０は好ましくは、エッジ保存フィルタを用いてこの境界の周りの領域においてフィルタリングされる。この取り組みの背後にある論理的根拠は、奥行きマップ２１０において一般に激しい遷移、例えば物体の境界は、圧縮アーチファクトを起こしやすい。しかしながら、このようなアーチファクトは、例えばＫ平均フィルタのようなエッジ保存フィルタを用いて減少してもよい。

画像情報２０５、奥行き情報２１０及び遮蔽画像情報４１５により供給される情報は、上記フィルタが用いられる領域を設定するのに使用されてもよい。その後、奥行き情報２１０は、奥行きの遷移に対し特定の距離内、又は代替的に物体の境界までの特定の距離内においてフィルタリングされることができる。例えばＤＣＴベースの圧縮方式の場合、この距離は、マクロブロック(macroblock)の対角線であると定義される。

第２の取り組みに従って、画像情報２０５、奥行き情報２１０及び遮蔽される画像情報４１５は、当業者には知られている発見的方法を用いて遮蔽奥行き情報４２０を再生するのに用いられる。同時係属している国際特許出願IB2007/051701（代理人整理番号PH005826）及び色適合型バイラテラルフィルタを用いて遮蔽奥行き情報４２０を再構成する特に好ましい方法を開示している欧州特許出願番号06301011.0（代理人整理番号PH006957）を参照されたい。

画像情報２０５及び遮蔽画像情報４１５を組み合わせることにより、色適応型バイラテラルフィルタと共に使用する基準画像が構成される。奥行きマップ２１０からの奥行き情報に対し重みを関連付けることにより、遮蔽奥行き情報の再構成処理への影響を減らすことができる。この遮蔽奥行き情報が一度再構成されると、前記物体に関する奥行き情報をフィルタリングするのに使用される。

遮蔽画像情報及び／又は遮蔽奥行き情報を生成するための他の低コストの代替案は、２Ｄ＋奥行き情報から情報の伸長(stretching)を利用する、すなわち遮蔽領域に隣接する情報を遮蔽する領域内まで広げることである。

遮蔽データを用いた３Ｄシーケンスの描画
上述した遮蔽情報は、他のビューを合成するのに使用されることができる。（裸眼）立体視ディスプレイにおいて、左目での閲覧者が右目での閲覧者とは僅かに異なる画像を知覚するという事実の結果として３Ｄが知覚される。

ここに開示される実施例において、これらビューは、中央ビュー及びそのビューに関連する奥行き／視差マップを用いて生成される。この視差／奥行きマップは、中央ビューのピクセルが様々なビューに対しどのように描画されるべきかを示している。特定のビューに対し画像が描画／合成されるとき、幾つかのピクセルは未定義となり、故に穴が生じる。

これを解決するための一次手法は、水平線において前に生じたピクセルのピクセル値を使用することである。走査順が適切に選択される場合、最後に生じたピクセルは、背景情報を反映しているピクセルである。この処理は、伸長と呼ばれ、実施の観点から、実施するのが最も簡単である。奥行きマップにおいて激しい遷移がある、すなわち物体がもう１つの物体の明らかに及びかなり前にある位置において、上述した伸長が原因により、一般的にアーチファクトを確認することができる。

上述した遮蔽情報は上記アーチファクトをさらに減少させるのに使用されることができる。

遮蔽情報を利用するビュー合成又は描画処理は、２段階の手法で実施されることができる。第１の段階は、遮蔽画像及び遮蔽奥行き情報を用いてビューが描画される。適切な遮蔽情報が無い場合、例えば符号化効率の理由により、一部の奥行き情報だけが利用可能である場合、上述した画像の伸長が利用されることができる。

第２の段階において、最前面の画像２０５及び奥行きマップ２１０は、伸長ステップが省略された描画処理を用いて描画される。第２の段階の出力は、前記第１のステップの出力の上に重畳される。結果的に、第２の段階で定義されないピクセルは、第１の段階により定義される。

奥行きマップの処理
図６は、不可逆圧縮により生じる圧縮アーチファクトを有する奥行きマップ６１０と同様に、グランドトゥルースの奥行きマップ６０５を説明する。

図７は、上記復元された奥行きマップ７１０がビュー描画処理用の入力として画像７０５と一緒に使用されるとき、結果生じる合成ビュー７１５はかなり歪んでいることを説明している。この歪みは、奥行き情報における圧縮アーチファクトから生じた必然的な結果である。奥行き情報が、視点に関する物体の奥行きに依存して前記画像６０５からの情報を変位するのに使用されるので、この奥行き情報におけるエラーが不正確な変位を生じる。

結果として、奥行き情報におけるエラーは、ピクセルデータの誤変換に転換される。これは描画される画像、特に物体の境界にかなりの影響を及ぼす。この影響は、合成ビュー７１５において物体のエッジの変形及び一貫性のない形式ではっきりと見ることができる。

通例、符号化及び圧縮アーチファクトは、激しい遷移に生じる。本発明は、遮蔽情報、例えば遮蔽画像情報、遮蔽奥行き情報及び／又は遮蔽視差情報を用いて、圧縮及び後続する復元中に奥行きマップに生じる符号化アーチファクトを減少させることを提案している。

遮蔽画像情報だけが利用可能である場合、この情報は、画像２０５において物体のエッジの位置に情報を提供し、奥行きマップ２１０における潜在的な奥行きの遷移に関する情報を間接的に提供する。この情報は、エッジ保存フィルタリングステップを奥行きマップ２１０に適用するとき、有利に用いられる。好ましくは、このようなエッジ保存フィルタは、奥行きの遷移を滑らかにしない。好ましくは、前記エッジ保存フィルタは、エッジの各側における夫々の奥行き情報の値をエッジの夫々の側における共通する奥行き情報の値にマッピングする。上記フィルタの一例は、Ｋ平均フィルタである。ビデオ処理の当業者は、広域の異方性フィルタが利用されてもよいことを分かっている。

代替的に、上述されるように、遮蔽奥行き情報は、遮蔽画像情報を用いて再生されてもよい。しかしながら、遮蔽情報に遮蔽奥行き情報を含むことが好ましい。遮蔽領域及び／又は遮蔽範囲周辺の領域に対する奥行き情報が利用可能であるとき、この情報は、遮蔽奥行き情報２２０と同様に奥行きマップ２１０の両方を改善するのに使用されることができる。根底にある考えは、遮蔽領域からの情報を用いて、品質を向上させる及び／又は奥行きマップ２１０からの奥行き情報の処理を進めることである。逆に、奥行きマップ２１０からの奥行き情報は、品質を向上させる及び／又は遮蔽奥行き情報からの奥行き情報の処理を進めることも可能である。

ビットレート効率のよい実施において、遮蔽奥行きマップは、激しい奥行きの遷移が生じる範囲においてのみ符号化される。加えて、計算の複雑性を減少させるために、奥行きマップ７１０における処理は、激しい奥行きの遷移が生じる範囲にのみ行われる。

２１０に示されるような奥行きマップに対する上記後処理ステップの簡単な実施例は、奥行きマップ２１０の各値及び対応する遮蔽奥行き情報２２０の値にＭＡＸ演算（最大値の選択）を行うことである。これは、中央ビューの奥行きマップ７１０においてレベルを下回る(undershoot)アーチファクトを除去する。適切な遷移の側において空間的に近接する他のピクセルを考慮することにより、さらにより精巧なフィルタリングが行われることが考えられる。特にビデオシーケンスの場合、物体の動きを考慮することにより、上記フィルタリング動作が時間一貫性を提供することも考えられる。空間及び時間的強化の両方において、奥行きマップ２１０にエッジを実質的に保存することが重要であり続ける。

この点について、奥行きマップ２１０が前記後処理ステップの目標であった。しかしながら、遮蔽奥行き情報２２０に匹敵する利点を持つ同様の後処理ステップが利用される。簡単な実施例において、前に提案したようなＭＡＸ演算は、改善される遮蔽奥行き情報２２０を得るために、ＭＩＮ演算（各値の最小値の選択）に置き換えられてもよい。

もう１つの実施例において、前記後処理ステップは、奥行きマップ２１０に存在している最前面の物体におけるアーチファクトも同様に減少するように利用されることもできる。これは、中央ビューの奥行きマップにおいて最初に検出する激しい奥行きの遷移により（例えばウィンドウにわたり前記ＭＡＸ及びＭＩＮを決め、平均を遷移の交差と考えることにより）達成される。

これら遷移の周辺において、奥行きマップのピクセルは、高品質であるべきである。従って、最前面の奥行きマップにおけるエッジ周辺の奥行きマップのピクセルを背景の奥行きマップからのピクセルと置き換えることは、奥行きマップがこの遷移から成らないので全体の品質を向上させる。

拡張ステップは、最前面の物体が背景上に置かれることを回避するために必要とされる。他の画像データと一緒に拡張係数がメタデータ形式で供給される場合、この値が用いられる。この拡張係数は、置き換えられるべき奥行きの遷移の周辺のデータ量を決めるのに使用される。

本発明の他の実施例において、前記処理ステップは、奥行きの遷移付近における奥行き情報からピクセルに対する置換基準を設定するステップを有し、この置換基準は、ピクセルが遷移のどの側に属しているか分類することである。その後、奥行き情報からのピクセルは、前記置換基準に基づいて置換ピクセルと条件付きで置き換えられる。奥行き情報の品質を向上させるために、前記置換ピクセルは、前記置換基準により示されるような空間的状況に統計上対応すべきであり、すなわち奥行きの遷移の該当する側の奥行き情報と一致すべきである。例えば、Ｋ平均アルゴリズムが用いられるとき、前記遷移の適切な側にあるクラスターの平均値は、置換ピクセル値として使用されることができる。

前記置換基準及び置換ピクセルの少なくとも１つは、遮蔽情報に基づいていること、つまりこのように、前記遮蔽情報が適切な奥行き情報を再構成するのに使用される追加の情報を提供するので、改善される奥行きマップの一貫性が得られることに注意することが重要である。

置換基準が遮蔽情報に少なくとも一部が基づいている場合、置換ピクセル値を設定するために、奥行き情報からピクセルの空間的状況を使用することが可能である。好ましくは、遮蔽情報からのピクセルの空間的状況、すなわちそのピクセル付近にあるピクセルは、置換ピクセルを決めるのに用いられる。より好ましくは、前記遮蔽奥行き情報からの対応するピクセルの空間的状況は、前記置換ピクセルを設定するのに使用される。奥行きの遷移付近にある前記置換基準を設定するのには十分であるが、代替案も可能であることも明確である。代わりに、上記基準は、画像全体において各ピクセルに対し設定されることができる。

一般的に奥行き情報における遷移が明確となっても、特に奥行き情報が符号化前にダウンスケールされる、すなわち非常に低いビットレートで符号化されるとき、奥行きの遷移は弱くなる。結果として、奥行きマップにおいて遷移を再構成するために、遷移の空間的状況からの情報を利用するエッジ再構成フィルタリングを使用することが有利である。

例えば、前記奥行き情報が低い解像度で供給されるとき、ダウンスケールされた奥行き情報におけるエッジはダウンスケール処理中、不鮮明(スミア)になる。結果として、エッジを再構成することが利点となる。Ｋ平均アルゴリズムを用いて置換基準を決める本発明の実施において、遷移の両側に適切な奥行き値を設定し、次いで実際の奥行き遷移にわたる奥行き値に基づいてエッジの最も有望な位置を決めることが有利である。

例えば、遷移の一方の側の奥行き値に対応する第１の平均及び遷移の他方の側の奥行き値に対応する第２の平均を決めることが可能である。再構成されたエッジは、これら第１の平均と第２の平均との中間に位置決められる。ここでエッジの再構成の概念がＫ平均法に関して説明されていたとしても、これは必須ではなく、同等の利点を持つ他のエッジ再構成技術が利用されてもよい。

図７は、遮蔽画像情報及び遮蔽奥行き情報の形式の遮蔽情報（図示せず）と同様に、画像７０５及び奥行きマップ７１０に部分的に基づく２つの描画ビューを示す。第１の描画ビュー７１５は、先に圧縮された奥行きマップ７１０に基づいている一方、第２の描画ビュー７２０は、本発明に従って後処理された先に圧縮された奥行きマップに基づいている。上述したように、第１の描画ビュー７１５は、奥行きマップ７１０にある圧縮アーチファクトによりひどく影響を受ける。一方、第２の描画ビュー７２０において、物体のエッジは、本来の画像７０５における物体のエッジにより近づいている。

奥行きマップの解像度が画像の解像度に一致する例を用いて本発明が論証されたとしても、本発明が夫々の解像度が異なる状況において同等の利点を持って利用されることが当業者には明らかである。

図８は、本発明による装置８００を示す。この装置８００は、物体を有する、ある視点からの場面の奥行き情報を有する奥行きマップ８７５を不可逆圧縮された奥行きマップに基づいて得るために配される手段８０５を有する。装置８００はさらに、前記奥行きマップ８７５において前記物体により遮蔽される情報を有する、前記視点からの場面に対する遮蔽情報８５５を得るために配される手段８１０を有する。最後に、この装置は、前記奥行きマップ８７５における圧縮アーチファクトを減少させるために、前記遮蔽情報の少なくとも一部を用いて前記奥行き情報の少なくとも一部を処理するために配される手段８１５を有する。この手段８１５は奥行きマップ８７５の処理において例えばメタデータ及び／又は画像データのような他の情報を任意に使用する。

前記装置８００は、例えばＡＳＩＣ(Application Specific Integrated Circuit)若しくは複数のＡＳＩＣの形式のハードウェア部品、又は１つ以上のデジタル信号処理器、さらには汎用処理器を有するプログラム可能なプラットフォームを用いるかのどちらか一方を用いて構成されることは当業者には明らかである。上述した実施を組み合わせも考えられる。当業者は、制約、例えばクロック周波数、プログラム可能なプラットフォームにおける利用可能な計算能力及び／又はビデオ処理用の設計システムの当業者にはよく知られる他の制約に基づいて上記実施を構成することが可能である。

図９は、本発明による装置８００を有する民生機器９００の実施を説明する。この民生機器９００は、ネットワークを介して入力ＴＳ(transport stream)９０５を入力するセットトップボックスであり、この入力ＴＳは画像情報、奥行き情報、遮蔽画像情報及び任意で遮蔽奥行き情報を含む少なくとも１つの画像シーケンスを有する。ＳＴＢは、裸眼立体視ディスプレイに出力するための複数のビュー９９５を描画するために配される。代替的に、民生機器は、画像情報、奥行き情報、遮蔽画像情報及び任意で遮蔽奥行き情報を含む画像シーケンス９０５を入力するために配される裸眼立体視ディスプレイとすることができ、これは裸眼立体視ディスプレイ９００に表示するための複数のビューを描画するのに使用される。この特定の実施例において、個々のビューは、別の装置にデジタル形式で出力される必要はなく、結果として、出力９９５は破線で示される。

この説明を通じて、"得る"という用語は、例えば復元、すなわち上記データの再構成により処理するための手段により得るのと同様に、例えばネットワーク又はデータ担体からの受領による得ることを含むと理解される。

上述した実施例は、本発明を制限するのではなく説明するものであり、添付される特許請求の範囲から外れることなく、当業者が多くの代替実施例を設計することが可能であることを理解すべきである。

請求項において、括弧内に置かれる如何なる参照番号もこの請求項を制限すると考えるべきではない。

本発明の枠内において、多くの変形が可能であることは明らかである。本発明が特に上記に示される及び説明されることにより制限されないことは当業者により分かるだろう。本発明は、新規特徴的特性の１つ１つ及びこれら特徴的特性の組み合わせ１つ１つに存在している。請求項における参照番号がそれらの保護範囲を制限しない。

"有する"という動詞及びその派生語の使用は、請求項に述べられる要素以外の要素の存在を排除するものではない。要素が複数あることを表していないことは、その要素が複数あることを排除するものではない。

Claims (15)

1. 奥行きマップを処理する方法において、
   −物体を有する、ある視点からの場面の奥行き情報を有する奥行きマップを不可逆圧縮された奥行きマップに基づいて得るステップ、
   −前記奥行きマップにおいて前記物体により遮蔽される情報を有する、前記視点からの場面に対する遮蔽情報を得るステップ、及び
   −前記奥行きマップにおける圧縮アーチファクトを減少させるために、前記遮蔽情報の少なくとも一部を用いて前記奥行き情報の少なくとも一部を処理するステップ
   を有する方法。
2. 前記遮蔽情報は、前記物体により遮蔽される奥行き情報を有する請求項１に記載の方法。
3. 前記物体に関する前記奥行き情報における遷移の周辺の既定領域内の前記奥行き情報の少なくとも一部を処理するステップを有する請求項１に記載の方法。
4. 前記物体の周辺の既定領域内の前記奥行き情報の少なくとも一部を処理するステップを有する請求項１に記載の方法。
5. 前記領域の大きさに関する情報を提供するメタデータを得るステップ
   を有する請求項１乃至４の何れか一項に記載の方法。
6. 前記遮蔽情報の少なくとも一部は、処理されている前記奥行き情報の前記領域に対応する領域からの遮蔽情報である請求項１乃至４の何れか一項に記載の方法。
7. 前記不可逆圧縮された奥行きマップを生成するのに用いられる不可逆圧縮アルゴリズムは、前記奥行き情報における遷移の周辺にノイズを生じる請求項１に記載の方法。
8. 前記不可逆圧縮された奥行きマップを生成するのに用いられる前記不可逆圧縮アルゴリズムは、前記不可逆圧縮された奥行きマップに奥行き情報を示すための周波数領域表現を用いる請求項１に記載の方法。
9. 請求項１に記載の方法はさらに、前記奥行き情報における遷移を設定するステップを有する方法。
10. 前記処理ステップは、
    −前記ピクセルが前記遷移のどの側に属しているかを分類する、奥行きの遷移付近における前記奥行き情報からのピクセルに対する置換基準を設定するステップ、及び
    −前記置換基準により示されるように、空間的状況に統計上対応している置換ピクセルを用いた前記置換基準に基づいて前記奥行き情報からの前記ピクセルを条件付きで置換するステップ
    であり、前記置換基準及び前記置換ピクセルの少なくとも１つは遮蔽情報に基づいている請求項１に記載の方法。
11. 前記置換基準は、
    −前記奥行き情報からの前記ピクセルの空間的状況、及び
    −前記奥行き情報からの前記ピクセルに対応する前記遮蔽情報からのピクセルの空間的状況
    の少なくとも一方を介するフィルタリングを用いて設定される請求項１０に記載の方法。
12. 前記置換ピクセルは、
    −前記奥行き情報からの前記ピクセルに対応する前記遮蔽奥行き情報からのピクセル、及び
    −前記奥行き情報からの前記ピクセルに対応する前記遮蔽奥行き情報からの前記ピクセルの空間的状況に基づくピクセル
    の一方である請求項１１に記載の方法。
13. 前記処理ステップは、
    −前記奥行き情報からのピクセル、及び
    −前記遮蔽情報からの対応するピクセル
    の中から最小値及び最大値の一方を設定するステップを有する請求項２に記載の方法。
14. 処理するための領域の大きさに関するメタデータが供給される請求項１に記載の方法。
15. 奥行きマップを処理するための装置において、
    −物体を有する、ある視点からの場面の奥行き情報を有する奥行きマップを不可逆圧縮された奥行きマップに基づいて得るために配される手段、
    −前記奥行きマップにおいて前記物体により遮蔽される情報を有する、前記視点からの場面に対する遮蔽情報を得るために配される手段、及び
    −前記奥行きマップにおける圧縮アーチファクトを減少させるために、前記遮蔽情報の少なくとも一部を用いて前記奥行き情報の少なくとも一部を処理するために配される手段
    を有する装置。

Images