JP2016167823A - 立体視および裸眼立体視ディスプレイのための奥行きマップ送達フォーマット - Google Patents

Abstract

【課題】立体視および裸眼立体視ディスプレイのための奥行きマップ送達フォーマットを提供する。
【解決手段】3D入力ピクチャーおよび対応する入力奥行きマップ・データを与えられて、入力ピクチャーに基づいて隣り合わせ式および上下式ピクチャーが生成される。エンコーダを使って隣り合わせ式ピクチャーが符号化されて、符号化された基本層を生成する。前記エンコーダおよびテクスチャー参照処理ユニット（RPU）を使って上下式ピクチャーがエンコードされて、第一の向上層を生成する。第一の向上層は基本層ストリームに基づいて符号化される。前記エンコーダおよび奥行きマップRPUを使って、前記隣り合わせ式ピクチャーについての奥行きデータがエンコードされて、第二の向上層を生成する。第二の向上層は基本層に基づいて符号化される。
【選択図】図１Ａ

Description

〈関連出願への相互参照〉
本願は、2012年6月14日に出願された米国仮特許出願第61/659,588号、2012年10月10日に出願された米国仮特許出願第61/712,131号、2012年12月20日に出願された米国仮特許出願第61/739,886号、2013年2月21日に出願された米国仮特許出願第61/767,416号、2013年4月1日に出願された米国仮特許出願第61/807,013号、2013年4月2日に出願された米国仮特許出願第61/807,688号、2013年5月10日に出願された米国仮特許出願第61/822,060号の優先権を主張するものである。これらの出願の内容はみなここに参照によって組み込まれる。

〈技術〉
本発明は概括的には画像に関する。より詳細には、本発明のある実施形態は、立体視および裸眼立体視ディスプレイのための奥行きマップの送達のためのフォーマットに関する。

3Dビデオ・システムは、映画館であれ家庭であれ、消費者の経験を高めるために多大な関心を集めている。これらのシステムは、次のものを含む立体視または裸眼立体視の提示方法を使う。
（ｉ）アナグリフ――通例一方の目のための赤および他方の目のためのシアンの二色フィルタを通じて光をフィルタリングすることにより左右の目の分離を提供する。
（ｉｉ）線形偏光――（通例）垂直配向の線形偏光子を通じて左目をフィルタリングし、水平配向の線形偏光子を通じて右目画像をフィルタリングすることによってプロジェクターにおいて分離を提供する。
（ｉｉｉ）円偏光――（通例）左巻きの円偏光子を通じて左目画像をフィルタリングし、右巻きの円偏光子を通じて右目画像をフィルタリングすることによってプロジェクターにおいて分離を提供する。
（ｉｖ）シャッター眼鏡――左右の画像を時間的に多重化することによって分離を提供する。
（ｖ）左右の目をスペクトル的にフィルタリングすることによってプロジェクターにおいて分離を提供する。左右の目はそれぞれ赤、緑および青スペクトルの相補的な部分を受け取る。

市場で入手可能な3Dディスプレイの大半は立体視テレビであり、3D効果を経験するためにはユーザーが特殊な3D眼鏡を装着することを要求する。これらのディスプレイへの3Dコンテンツの送達は、左ビューおよび右ビューの二つの別個のビューを搬送することを要求するだけである。裸眼立体視（眼鏡なし）ディスプレイが登場しつつある。これらのディスプレイは、いくらかの動き視差（motion parallax）を与える。閲覧者は、自分が動くにつれて異なるアングルから対象を閲覧しているかのように頭を動かすことができる。

伝統的な立体視ディスプレイは単一の3Dビューを与えるが、裸眼立体視ディスプレイは、ディスプレイの設計に基づき５ビュー、９ビュー、２８ビューなどといった複数のビューを与えることが求められる。通常の立体視コンテンツが裸眼立体視ディスプレイに与えられると、該ディスプレイは奥行きマップを抽出し、この奥行きマップに基づいて複数のビューを生成またはレンダリングする。本稿での用法では、用語「奥行きマップ」は、視点からのシーン・オブジェクトの表面の距離に関係した情報を含む画像または他のビットストリームを表わす。奥行きマップは、容易に両眼差マップ（disparity map）に変換でき、本稿のコンテキストでは、奥行きマップおよび両眼差マップの用語は同じであり、交換可能である。

国際公開第2010/123909号、Tourapis, A., et al. "Directed Interpolation/Post-processing Methods for Video Encoded Data" 国際公開第2011/995624号、Tourapis, A., et al. "Encoding and Decoding Architecture for Frame Compatible 3D Video Delivery"

Daniel Scharstein and Richard Szeliski、"High-Accuracy Stereo Depth Maps Using Structured Light"、IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol.1, pp.195-202, June 2003

奥行きマップは、3D経験を、種々の解像度をもつ種々のディスプレイ型（たとえば1080pディスプレイまたは2Kディスプレイ）のために適応させ直すために使用されてもよい。いくつかの研究は、3D映画館のために設計された奥行き量はより小さなモバイル装置には好適でなく、逆にモバイル装置のために設計された奥行き量はより大きな3D映画館には好適でないことを示している。また、3D奥行きの量に対する閲覧者の好みもある。これは、年齢依存（若者は高齢者より大きな奥行き体験を好む）、文化依存（アジアの文化は西洋文化よりも大きな奥行きを好む）または単に閲覧者依存でありうる。奥行きマップ情報は、知覚される奥行きおよび他の調整を増大または減少させるようステレオ・ビューをレンダリングし直すために使用できる。本願の発明者によって認識されたように、裸眼立体視および立体視ディスプレイでのユーザー経験を改善するために、コンテンツとともに奥行きマップ情報を送達するための改善された技法が望ましい。

上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

本発明の実施形態は、限定ではなく例として付属の図面に示される。図面において、同様の参照符号は同様の要素を指す。
3Dビデオのための例示的なフレーム互換フル解像度（FCFR: Frame-Compatible-Full-Resolution）エンコーダを描く図である。 3Dビデオのための例示的なフレーム互換フル解像度（FCFR: Frame-Compatible-Full-Resolution）デコーダを描く図である。 奥行きデータをもたない3D FCFRフォーマットの簡略化された表現である。 対応するデコーダの簡略化された表現である。 基本層が隣り合わせ式3D信号を有する、本発明のある実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。 好適なデコーダによって抽出されることができる対応するビットストリームの例を描く図である。 基本層が上下式3D信号を有する、本発明のある実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。 Ａは、本発明のある実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。Ｂは、好適なデコーダによって抽出されることができる対応するビットストリームの例を描く図である。 Ａは、本発明のある実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。Ｂは、好適なデコーダによって抽出されることができる対応するビットストリームの例を描く図である。 本発明のある実施形態に基づく、例示的な単一層奥行きマップ送達フォーマットを描く図である。 本発明のある実施形態に基づく、例示的な二層奥行きマップ送達フォーマットを描く図である。 Ａは、本発明のある実施形態に基づく、例示的な２層奥行きマップ送達フォーマットを描く図である。Ｂは、好適なデコーダによって抽出されることができる対応するビットストリームの例を描く図である。 Ａは、本発明のある実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。Ｂは、好適なデコーダによって抽出されることができる対応するビットストリームの例を描く図である。 Ａは、本発明のある実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。Ｂは、好適なデコーダによって抽出されることができる対応するビットストリームの例を描く図である。 Ａは、本発明のある実施形態に基づく、例示的な２層奥行きマップ送達フォーマットを描く図である。Ｂは、好適なデコーダによって抽出されることができる対応するビットストリームの例を描く図である。 Ａは、本発明のある実施形態に基づく、例示的な２層奥行きマップ送達フォーマットを描く図である。Ｂは、好適なデコーダによって抽出されることができる対応するビットストリームの例を描く図である。 ＡおよびＢは、本発明の諸実施形態に基づく、単一層奥行きマップ送達フォーマットの例を描く図である。 Ａは、本発明のある実施形態に基づく、例示的な２層奥行きマップ送達フォーマットを描く図である。Ｂは、好適なデコーダによって抽出されることができる対応するビットストリームの例を描く図である。 本発明のある実施形態に基づく、例示的な単一層奥行きマップ送達フォーマットを描く図である。 ＡおよびＢは、本発明の諸実施形態に基づく、例示的な単一層奥行きマップ送達フォーマットを描く図である。Ｃは、本発明のある実施形態に基づく、セグメント化された奥行きマップ多重化の例を描く図である。 本発明の諸実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。 本発明の諸実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。 本発明の諸実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。 本発明の諸実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。 本発明の諸実施形態に基づく、例示的な３層奥行きマップ送達フォーマットを描く図である。 ＡおよびＢは、本発明の諸実施形態に基づく、例示的な２層奥行きマップ送達フォーマットを描く図である。

本稿では、立体視および裸眼立体視ディスプレイのための奥行きマップの送達フォーマットが記載される。これらのフォーマットは、伝統的なケーブル、衛星または空中放送およびオーバーザトップ（over-the-top）送達を含む多様なビデオ送達シナリオをサポートする。いくつかの実施形態では、これらのフォーマットは、より新しいデコーダが複数のビューおよび関連する奥行きマップ・データを立体視または裸眼立体視ディスプレイのためにレンダリングできる一方、レガシー・デコーダが後方互換な2Dまたは3Dストリームを抽出することを許容する。以下の記述では、説明のために、数多くの個別的詳細が、本発明の十全な理解を与えるために記述される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、よく知られた構造および装置は、本発明を無用に埋没させるのを避けるために、網羅的な詳細さでは記述されない。

〈概観〉
本稿に記述される例示的な実施形態は、立体視および裸眼立体視ディスプレイのための奥行きマップ情報の送達フォーマットに関する。3D入力ピクチャーおよび対応する入力奥行きマップ・データが与えられたとき、隣り合わせ（side-by-side）または上下（top-and-bottom）式のピクチャーが入力ピクチャーに基づいて生成される。エンコーダを使って、隣り合わせ式のピクチャーは符号化されて符号化された基本層を生成する。前記エンコーダおよびテクスチャー参照処理ユニット（RPU: reference processing unit）を使って、上下式のピクチャーがエンコードされて第一の向上層を生成する。ここで、第一の向上層は部分的に前記基本層ストリームに基づいて符号化される。前記エンコーダおよび奥行きマップRPU（以下ではZ-RPUまたはRPU_Zと表わされる）を使って、前記隣り合わせ式ピクチャーのための奥行きデータがエンコードされて、第二の向上層を生成する。第二の向上層は部分的に前記基本層に基づいて符号化される。

いくつかの実施形態では、奥行きマップ・データを直接基本層および向上層に符号化する代わりに、エンコーダは、残差奥行きマップ・データをエンコードしてもよい。残差奥行きマップ・データは、入力奥行きマップ・データと、Z-RPUによって生成された推定された奥行きマップ・データとの間の差を含む。

いくつかの実施形態では、奥行きマップ・データおよびビデオ・データは単一層にエンコードされる。該単一層は、第一のビューの二分の一解像度のデータと、第二のビューの二分の一解像度のデータまたは第一のビューの前記二分の一解像度のデータについての奥行きマップのいずれかとを含む。

いくつかの実施形態では、奥行きマップ・データおよびビデオ・データは二つの基本層にエンコードされる。第一の基本層は第一のビューのフル解像度データを含み、第二の基本層は第二のビューのフル解像度のデータまたは第一のビューのフル解像度奥行きデータのいずれかとを含む。

いくつかの実施形態では、奥行きマップ・データおよびビデオ・データは三つの層にエンコードされる。基本層は第一のビューの二分の一解像度データおよびその対応する奥行きマップ・データを含む。第一の向上層は、上下式のピクチャーを含み、第二の向上層は、第二のビューの二分の一解像度のデータおよびその対応する奥行きマップ・データを含む。

いくつかの実施形態では、奥行きマップ・データおよびビデオ・データは二つの層にエンコードされる。第一の基本層は、隣り合わせ式ピクチャーのルミナンスおよびクロマ成分の両方を含む。向上層のルーマ成分は上下式のピクチャーのルーマ成分を含み、向上層のクロマ成分は前記上下式のピクチャーについての奥行きマップ・データを含む。

いくつかの実施形態では、前記隣り合わせ式ピクチャーおよび前記上下式ピクチャーは、水平方向および垂直方向の空間寸法があらかじめ定義されたマクロブロック・サイズ（たとえば16）の整数倍になるよう、パディングされる。その際、パディングされたデータは、もとの奥行きマップ・データのサブサンプリングされたバージョンを含む。

いくつかの実施形態では、向上層におけるクロマ・ピクセル値はまた、奥行きマップ・データまたは残差奥行きマップ・データで置き換えられてもよい。

〈3Dのための例示的なFCFRフォーマット〉
図１Ａは、いかなる奥行き情報もない、3Dビデオ・データのエンコーダのフレーム互換フル解像度（FCFR）の例を描いている。エンコーダは、2011年9月29日に出願された、T. Chenらによる「Dual-layer frame-compatible full-resolution stereospcopic 3D delivery」という米国仮特許出願第61/541,005号に記載される方法に従って動作する。この出願は、2012年9月26日にPCT出願第PCT/US2012/057302号としても出願されており、ここに参照によってその全体において組み込まれる。

図１Ａに描かれるように、入力3D信号（１０５）のフル解像度（たとえば1920×1080）の左右のビュー（１０５−１、１０５−２）がフィルタリングされ、（水平方向および垂直方向に）サブサンプリングされ、多重化されて隣り合わせ式のビュー１１２および上下式のビュー１１７を生成する。隣り合わせ式および上下式のピクチャーは、入力の両方のビューを含むが、各ビューはより低い解像度になっている。たとえば、1920×1080の入力については、隣り合わせ式のサブピクチャー（L、R）はそれぞれ960×1080であることがあり、上下式のサブピクチャー（L'、R'）はそれぞれ1920×540であることがある。隣り合わせ式信号１１２はBLエンコーダ１２０によってエンコードされて符号化された基本層（BL）ビットストリーム１２２を生成する。BLエンコーダ１２０は、ISO/IEC MPEG-2、MPEG-4パート２またはH.264（AVC）規格によって規定されるものまたはグーグルのVP8、マイクロソフトのVC-1、HEVCなどといった他のエンコーダのような、既知のビデオ・エンコーダのいずれであってもよい。

上下式信号１１７は、第二のエンコーダである向上層（EL）エンコーダ１３０によってエンコードされて、符号化された向上層（EL）ストリーム１３２を生成してもよい。ELエンコーダは、BLエンコーダ１２０と同じフォーマット（たとえばH.264）でエンコードしてもよいし、あるいは別個のフォーマットでエンコードしてもよい。いくつかの実施形態では、ELエンコーダ１３０は、上下式信号１１７および隣り合わせ式信号１１２の両方からの参照フレームを使うことによって、信号１１７をエンコードしてもよい。たとえば、BLエンコーダ１２０、ELエンコーダ１３０および関連する記憶部（図示せず）は、マルチビュー・コーデック（MVC）のためのISO/IEC H.264規格によって規定されているマルチビュー・コーデックを有していてもよい。

いくつかの実施形態では、図１Ａのエンコーダは、参照プロセッサユニット（RPU）１２５をも含んでいてもよい。RPUとの関係で本稿で使われるところでは、「参照」という用語は、このピクチャーが完全な符号化プロセス内で参照として（たとえば「参照ピクチャー」の意味で）明示的に使われることを含意も明示もすることを意図されておらず、よってそのような意味に解釈すべきではない。RPUは、特許協力条約（PCT）に従って出願された特許文献１、２に記載されている説明に準拠してもよい。RPUの以下の記述は、特にそうでないことが明記されるのでない限り、エンコーダのRPUおよびデコーダのRPUの両方に当てはまる。ビデオ符号化に関係する分野の当業者はその差を理解し、本開示を読めば、エンコーダ固有、デコーダ固有および一般的なRPUの記述、機能およびプロセスを区別できるであろう。図１Ａに描かれるような3Dビデオ符号化システムのコンテキスト内では、RPU（１２５）は、種々のRPUフィルタおよびプロセスを選択する一組の規則に従って、BLエンコーダ１２０からのデコードされた画像にアクセスし、これを補間する。

RPU １２５は、補間プロセスが領域レベルで適応的であることを可能にする。ここで、ピクチャー／シーケンスの各領域はその領域の特性に従って補間される。RPU １２５は、水平方向、垂直方向または二次元（2D）フィルタ、エッジ適応式または周波数ベースの領域依存フィルタおよび／またはピクセル複製フィルタまたは補間および画像処理のための他の方法または手段を使うことができる。

たとえば、あるピクセル複製フィルタは、単に零次ホールドを実行してもよい。たとえば、補間された画像における各サンプルは、低解像度画像における近隣サンプルの値に等しくなる。別のピクセル複製フィルタは、ビュー横断コピー動作を実行してもよい。たとえば、あるビューにおける補間された各サンプルは、反対側のビューからの補間されていない共位置のサンプルに等しくなる。

代替的または追加的に、両眼差補償されるコピー方式がRPUにおいて使われることができる。たとえば、フィルタは、サンプルの非共位置領域をコピーしてもよい。ここでも、コピーされるべき領域の位置は異なるビューからの領域であってもよいが、両眼差ベクトルを使って指定されることができる。両眼差ベクトルは、整数またはサブピクセル精度を使って指定されてもよく、単純な、たとえば並進動きパラメータ、あるいはアフィンまたはパースペクティブ動き情報および／またはその他のようなより複雑な動きモデルに関わってもよい。

エンコーダは、RPUフィルタを選択して、領域的な処理信号を出力してもよい。その出力はデコーダRPU（たとえば１４０）に入力データとして与えられる。信号伝達（たとえばRPUL １２７）が、領域ごとにフィルタリング方法を指定する。たとえば、数、サイズ、形および他の特性といった領域属性に関係するパラメータがRPULに関係したデータ・ヘッダにおいて指定されてもよい。フィルタのいくつかは、固定したフィルタ係数を有していてもよく、その場合、フィルタ係数はRPUによって明示的に信号伝達される必要はない。他のフィルタ・モードは、係数値および水平方向／垂直方向タップの数といったフィルタ・パラメータが明示的に信号伝達される明示モードを含みうる。

フィルタは、各色成分ごとに指定されてもよい。RPUは線形フィルタを指定してもよい。エッジ適応的フィルタ、二側面フィルタなどといった非線形フィルタがRPUにおいて指定されてもよい。さらに、アフィンまたはパースペクティブ動きモデルといった高度な動き補償方法を指定する予測モデルが信号伝達されてもよい。

RPUデータ信号伝達１２７は、エンコードされたビットストリームに埋め込まれることも、あるいはデコーダに別個に伝送されることもできる。RPUデータは、RPU処理が実行される層とともに信号伝達されてもよい。追加的または代替的に、すべての層のRPUデータが一つのRPUデータ・パケット内で信号伝達されてもよく、該パケットはレイヤー２エンコードされたデータを埋め込む前または後にビットストリームに埋め込まれる。RPUデータの提供は、所与の層については任意的であってもよい。RPUデータが利用可能でない場合には、デフォルトの方式がその層の上方変換〔アップコンバージョン〕のために使用されてもよい。似ていなくもないが、向上層エンコードされたビットストリームの提供も任意的である。

ある実施形態は、各RPUにおけるフィルタおよびフィルタリングされる領域を最適に選択する複数の可能な方法を許容する。いくつかの基準が、最適なRPU選択を決定することにおいて、別個にまたは関連して使用されてもよい。最適なRPU選択基準は、基本層ビットストリームのデコードされた品質、向上層ビットストリームのデコードされた品質、RPUデータを含む各層のエンコードのために必要とされるビットレートおよび／またはデータのデコードおよびRPU処理の複雑さを含みうる。

RPUは、向上層におけるその後の処理とは独立に最適化されてもよい。よって、RPUについての最適なフィルタ選択は、ビットレートおよびフィルタ複雑さなどのような他の制約条件のもとで、補間された基本層画像ともとの左目および右目の画像との間の予測誤差が最小化されるように決定されてもよい。

RPU １２５は、BLエンコーダ１２０からの情報を、該情報がELエンコーダ１３０における向上層のための潜在的な予測子として利用する前に処理する前処理段のはたらきをしてもよい。RPU処理に関係した情報は、RPU層（RPUL: RPU Layer）ストリーム１２７を使って、図１Ｂに描かれているようなデコーダに（たとえばメタデータとして）通信されてもよい。RPU処理は、色空間変換、非線形量子化、ルーマおよびクロマ・アップサンプリングおよびフィルタリングといった多様な画像処理動作を含みうる。ある典型的な実装では、EL １３２、BL １２２およびRPUL １２７信号は単一の符号化されたビットストリーム（図示せず）に多重化される。

図１Ｂは、図１Ａに描かれたエンコーダによってエンコードされたビットストリームをデコードする例示的なデコーダを描いている。デコーダは、受領されたビットストリームを多重分離してBLストリーム１２２、ELストリーム１３２およびRPULストリーム１２７を生成する。単一のBLデコーダ１３５をもつデコーダは、BLストリーム１２２をそれ自身でデコードして、デコードされた隣り合わせ式ビットストリーム１３７を生成できる。デコーダは信号１３７を使って、単一の2Dストリームを（信号１３７の左または右ビューのいずれかを選択することによって）、あるいは後方互換の3Dストリームを生成してもよい。追加的なELデコーダ１４５をサポートするデコーダは、上下ストリーム１４７をもデコードして、それをBLストリーム１３７と組み合わせてフル解像度の3Dストリーム１５２を生成してもよい。上下式および隣り合わせ式のストリームを多重分離して組み合わせてフル解像度の3Dビデオ・ストリームを生成することは、先述した米国仮特許出願第61/541,005号に記載される方法に基づいて実行されてもよい。

BLデコーダ１３５（たとえばMPEG-2またはH.264デコーダ）はBLエンコーダ１２０に対応する。ELデコーダ１４５（たとえばMPEG-2またはH.264デコーダ）はELエンコーダ１３０に対応する。デコーダRPU １４０はエンコーダRPU １２５に対応し、RPUL入力１２７からのガイダンスにより、エンコーダRPU １２５によって実行される動作に対応する動作を実行することによってEL層１３２のデコードにおいて支援してもよい。

図１Ｃは、図１Ａに描かれた二層エンコーダによってエンコードされた3D FCFR符号化フォーマットの簡略化された表現を描いている。図１Ｃの記号法によれば、符号化されたBL信号は、ルミナンスまたはルーマ成分（１１２-Y）および対応するクロマ成分（１１２-UV）を含む隣り合わせ式信号１１２を含む。たとえば、いくつかの実施形態では、BL信号１１２は4:2:0 YUVフォーマットでエンコードされてもよい。他のいくつかの実施形態では、4:2:0 YCbCrフォーマットでエンコードされてもよい。図１Ｃに描かれるように、入力信号のクロマ成分は、ルーマ成分より低いピクセル解像度を有することがあるが、本稿に記載されるすべての方法は、クロマがルーマ成分と同じ解像度であってもよい色フォーマット（たとえば4:4:4 YCbCrまたは4:4:4 YUV）にも当てはまる。BL信号１１２は、図１Ａに描かれているエンコーダを使ってそれ自身でエンコードされてもよい。EL上下式ストリーム１１７は、BLストリーム１１２からの参照データに基づいてRPU_T １２５を使って部分的にエンコードされてもよい。ELストリーム１１７は独自のルーマ（１１７-Y）およびクロマ（１１７-UV）成分を有する。

図１Ｃに描かれるエンコーダ表現によって生成される符号化されたビットストリームを与えられて、図１Ｄは、対応する受信器実施形態のための簡略化された表現を描いている。図１Ｄは、図１Ｂの簡略化されたバージョンと見ることもできる。先に説明したように、単一のBLデコーダ１３５をもつレガシー・デコーダはこのストリームから、レガシー（たとえば二分の一解像度）フレーム互換（FC）3Dストリームを抽出できる。一方、より新しいデコーダ（たとえばH.264 MVCデコーダまたはELデコーダ１４５およびRPU １４０をもつデコーダ）は向上層を抽出し、それにより、より高い解像度および品質のFCFR 3Dストリームを再構成してもよい。記号法のため、BLデコーダ１３５とELデコーダ１４５の間などの二つのデコーダ間の接続（たとえば１３７）は、そのELデコーダが、たとえばデコーダRPU １４０（図示せず）を通じ、基本層から抽出されて後処理されたフレームを参照フレームとして利用してもよいことを表わす。換言すれば、符号化されたELストリームは部分的には、BLストリームからのデータに基づいてデコードされる。

〈後方互換な層をもつ3Dのための例示的な奥行きフォーマット〉
図２Ａは、FCFR 3Dデータに加えて奥行きマップ・データを送達するための例示的な三層送達フォーマットを描いている。図２Ａに記されるように、最初の二つの層BL ２１２およびEL-1 ２１７は伝統的な3D FCFR層BL １１２およびEL １１７に対応する。3D FCFRエンコードと同様に、EL-1層２１７は、RPU_T ２２５を使ってBL層２１２への参照によって符号化されてもよい。EL-2層２１９Sは、一次チャネル２１９S-Aおよび二次チャネル２１９S-Bとしてエンコードされた奥行きマップ情報を表わす。奥行きマップ・データは、典型的には8ビット・グレースケール・データとしてエンコードされる。すなわち、いかなるクロマ情報も含まない。EL-2 ２１９Sでは、Z_Lは左ビュー（たとえば１０５-1）のための水平方向にサブサンプリングされた奥行きデータを表わし、Z_Rは右ビュー（たとえば１０５-2）のための水平方向にサブサンプリングされた奥行きデータを表わす。この実施形態では奥行きデータはサブサンプリングされるので、欠けている奥行き情報も二次奥行きチャネル２１９S-Bに組み込まれてもよい。たとえば、ある実施形態では、左ビューのためのもとのw×hの奥行きマップを与えられて、垂直方向のサブサンプリング後に、結果的なw×h/2の奥行きマップが、Z_L'およびZ_L''として表わされる二つのw/2×h/2の奥行きマップに分割されてもよい。

EL-2層２１９Sは、第二のELエンコーダを使って独自にエンコードされてもよく、あるいは、図２Ａに描かれるように、BLストリーム２１２から抽出された奥行きデータを参照することによってRPU_Z ２３０を使ってエンコードされることもできる。

奥行きマップRPU ２３０（奥行きまたはZバッファ・データに対して作用するのでRPU_ZまたはZ-RPUとも称される）は、動作および機能において、テクスチャーRPU ２２５（またはRPU １２５）（テクスチャー・データに対して作用するのでRPU_Tとも称される）と非常によく似ているが、奥行きマップRPUは、ベースライン入力（たとえばBL ２１２）から推定奥行きマップ・データを抽出（または予測）する追加された機能をもつ。奥行きマップ情報は、ここに参照によってその全体において組み込まれる非特許文献１のような、当技術分野における既知の技法のいずれを使って2Dまたは3Dデータから抽出されることもできる。

いくつかの実施形態では、EL-2層２１９Sは以下のデータを担持してもよい：何の修正もないもとの奥行きマップ（たとえば、カメラによって捕捉されら奥行きマップ）または該もとの奥行きマップとRPU_Zによって予測された奥行きマップとの間の差またはもとの奥行きマップからの個別的な諸領域。同じフォーマットは、奥行きデータの一部としてまたはRPU_Tビットストリーム（たとえば１２７）と同様の別個のRPU_Zビットストリームの一部として、RPU_Z処理を定義するために必要とされるさまざまなパラメータを担持するために使われてもよい。

図２Ａの奥行きマップ符号化フォーマットが与えられて、受信器の機能に依存して、図２Ｂは、いくつかの代替的なデコードされたビットストリームを描いている。たとえば、単一のデコーダ、BLデコーダ２５０をもつ受信器は、フレーム互換（FC）3Dストリームのみを抽出できる。BLデコーダ２５０およびELデコーダ１ ２５５（たとえばMVCデコーダ）の両方をもつ受信器はFCFR 3Dストリームをデコードすることもできる。第二のELデコーダ（２６５）およびデコーダRPU_Z（図示せず）をもつ受信器は、奥行きマップZ_LおよびZ_Rをもデコードしてもよい。BLデコーダ２５０およびELデコーダ２（２６５）のみをもつ受信器は、FC 3Dストリームおよび奥行きマップZ_LおよびZ_Rをデコードしてもよい。

図２Ａに描かれるように、基本層２１２は隣り合わせ式の多重化L/R符号化データ（たとえば１１２）を含み、EL-1層は上下式のL'/R'多重化データ（たとえば１１７）を含むが、本稿で論じる奥行きマップのための送達フォーマットすべてにおいて、基本層において隣り合わせ式3Dデータを使うことは、上下式3Dデータを使うことと交換可能である。よって、図２Ｃに描かれるように、ある代替的な実施形態では、BLは上下式のL'/R'信号２１７（たとえば１１７）を含んでいてもよく、EL-1は隣り合わせ式のL/R信号２１２（たとえば１１２）を含んでいてもよく、EL-2は上下式の奥行きマップ・データZ_L'/Z_R'（２１９T）を含んでいてもよい。同様の実施形態は、本明細書に記載される他の例示的な実施形態についても導出されうる。

図３のＡは、図２Ａに描かれた奥行きマップ送達フォーマットの変形を描いている。図３のＡに描かれるように、奥行きマップ・データは第二の基本層BL-2 ３１９を使って符号化される。符号化効率を改善するために、もとの奥行きデータZ_LおよびZ_Rを符号化する代わりに、エンコーダは任意的なRPU_Z ３３０を利用して推定奥行きマップ・データを生成してもよい。

ある実施形態では、RPU_Z ３３０は、予測された奥行きデータZE_LおよびZE_Rを導出するために、基本層３１２からの情報を利用してもよい。次いで、BL-2のためのエンコーダは、直接Z_LおよびZ_Rを符号化する代わりに、奥行き残差RZ_L＝Z_L−ZE_LおよびRZ_R＝Z_R−ZE_Rをエンコードしてもよい。同様の奥行きマップ残差符号化は、本明細書に記載されるすべての例示的実施形態に適用可能である。

図３のＡに基づいてエンコードされた奥行きマップ・データが与えられて、受信器の機能に依存して、図３のＢは、いくつかの代替的なデコード・シナリオを描いている。たとえば、単一のBLデコーダ、BLデコーダ１ ３５０をもつ受信器は、FC 3Dストリームをデコードしうる。第二のBLデコーダ（BLデコーダ２３６０）をもつ受信器は、奥行きデータZ_LおよびZ_Rまたは残差奥行きデータ（RZ_L,RZ_R）のいずれかをデコードしうる。第二のBLデコーダ３６０およびデコーダRPU_Zをもつ受信器は、BLストリームを使って推定奥行きデータ（ZE_LおよびZE_R）を再構成し、それが（たとえば加算器３６５を介して）デコードされた残差奥行きデータ（RZ_L,RZ_R）に加えられて、出力奥行きデータZ_LおよびZ_Rを生成してもよい。追加的な機能３６５はデコーダのRPU_Zによって、あるいは別個の処理回路によって実装されてもよいことを注意しておく。最後に、BLデコーダ１ ３５０およびELデコーダ３５５をもつ受信器は、ビットストリームEL-1と、BLビットストリームからの参照データを使って、FCFR 3Dストリームを再構成しうる。

図４のＡは、多重化された二分の一解像度3Dデータの基本層と二つの向上層とを使う、左ビューおよび右ビューのための奥行きマップ送達フォーマットを描いている。ある例示的な実施形態では、EL-1 ４１７はL'およびR'上下式信号（１１７）の「上」半分（L'）およびZ_Lデータを担持する。EL-2 ４１９はL'およびR'上下式信号（１１７）の「下」半分およびZ_Rデータを担持する。向上層の符号化効率は、テクスチャーおよびZバッファRPU（４２５および４３０）を使うことによって改善されうる。RPU_T ４２５はL'およびR'データの符号化のために使用され、一方、RPU_Z ４３０はZ_LおよびZ_Rデータの符号化のために使用される。前と同様に、EL-1およびEL-2クロマ・チャネル（４１７-UVおよび４１９-UV）は対応するL'またはR'データのためのクロマ・データ（たとえばL'uおよびL'v）または追加的な奥行きデータ（Z_L'およびZ_L''）を担持するために使用されてもよい。

図４のＡに基づいてエンコードされた奥行きマップ・データが与えられて、図４のＢは、いくつかの代替的なデコード・シナリオを描いている。単一のBLデコーダ４５０をもつ受信器は、FC 3Dストリームをデコードしうる。追加的なELデコーダ（４５５または４６０）およびRPU_TおよびRPU_Zの（または同様の）機能をもつ受信器は、フル解像度（FR）左ビュー・ストリーム、二分の一解像度（HR）右ビュー・ストリームおよび左ビュー奥行きデータ（Z_L）をもデコードでき、あるいはFR右ビュー、HR左ビューおよび右ビュー奥行きデータ（Z_R）をデコードできる。二つの追加的なELデコーダ（４５５および４６０）をもつ受信器は、両方のビューからのFCFR 3Dストリームおよび奥行きデータをもデコードできる。

図７のＡは、基本層７１２および向上層７１７を使って奥行きマップ情報を送達するための二層アプローチの例示的な実施形態を描いている。BL層７１２は両方のビューの二分の一解像度を送達する（たとえば隣り合わせ式ピクチャー）。EL層７１７はそれらの対応する奥行きマップを送達する。エンコーダはRPU_Z（７３０）を利用してもよく、それにより、BL ７１２から抽出される奥行きマップ・データが、ELデータ７１７をエンコードするために参照として使用されうる。

いくつかの実施形態では、RPU_Z ７３０は完全にスキップされてもよく、EL層７１７は、基本層を参照することなく、第二の基本層としてそれ自身でエンコードされてもよい。

いくつかの実施形態では、RPU_Z ７３０は、基本層７１２からの情報を利用して、推定奥行きデータZE_LおよびZE_Rを抽出してもよい。その際、向上層７１７は、もとのZ_LおよびZ_R奥行きデータを含む代わりに、RZ_L＝Z_L−ZE_LおよびRZ_R＝Z_R−ZE_Rのような奥行き残差を含んでいてもよい。

もう一つの実施形態では、隣り合わせ式L/Rデータ（たとえば１１２）をBL層７１２として使う代わりに、上下式L'/R'データ（たとえば１１７）を使ってもよい。そのような実施形態では、ELストリーム７１７は対応する上下式の奥行きマップ・データも担持することになる。

〈後方互換でない層をもつ3Dのための例示的な奥行きフォーマット〉
これまで述べてきた奥行きマップ・データ送達フォーマットの大半は、レガシー受信器が少なくとも、ある後方互換な二分の一解像度の（FC）3Dストリームをデコードすることを許容する。単一デコーダとの後方互換性が要件ではない場合には、代替的な実施形態が導出されうる。

図５は、奥行きマップを送達するための単一層アプローチの例を描いている。信号BL ５１２は二分の一解像度の左ビュー（L）およびその関連する奥行きマップ（Z_L）を有する。Z_Lに関連付けられたクロマ・チャネル（５１２-UV）は、Z_Lのための追加解像度データを伝送するために使われてもよい。エンコーダは、左ビュー奥行きデータZ_Lの代わりに、二分の一解像度右ビュー・データ（R）を代用し、伝送してもよい。デコーダ側では、単一BLデコーダをもつビデオ・デコーダは、二分の一解像度左ビューおよびその奥行きマップまたは隣り合わせ式ピクチャーを抽出してFC 3Dビデオ・ストリームを生成できる。ピクチャー毎にピクチャー配置についての情報を含む補助データ（またはメタデータ）も伝送されてもよい。

同じ送達フォーマットは、BL ５１２において、二分の一解像度左ビュー（L）が二分の一解像度右ビュー（R）または上下式L'/R'信号（１４７）の上（L'）または上下式L'/R'信号（１４７）の下（R'）によって置き換えられてもよく、左ビュー奥行きマップが対応する奥行きマップによって置き換えられる代替的な実施形態において使用されてもよい。

図６は、奥行きマップ情報を送達するための二層アプローチの例示的な実施形態を描いている。図６に描かれるように、BL-1（６１２）およびBL-2（６１７）層はいずれも互いから独立して符号化される。BL-1層６１２は左ビュー（L）のフル解像度を含む。BL-2層６１７は左ビュー奥行きマップのフル解像度または右ビュー（R）のフル解像度を含む。層BL-2が奥行きマップ・データZ_Lを担持する場合、対応するクロマ・データ（６１７-UV）はブランクのままにされてもよいし、他のメタデータを担持してもよい。

このフォーマットのデコードは、少なくとも二つのBLデコーダを必要とする。左ビュー・データ（L）のデコードのために一つ、左ビュー奥行きマップ・データまたは右ビュー・データのデコードのために一つである。ピクチャー毎にピクチャー配置についての情報を含む補助データ（またはメタデータ）も伝送されてもよい。このフォーマットは、一つのデコーダをもつ受信器が2Dビデオを再構成し、二つのデコーダをもつ受信器がFCFR 3DまたはFC 3Dビデオを再構成することを許容する。

いくつかの実施形態では、BL-1（６１２）が右ビュー・データ（R）を担持してもよく、BL-2（６１７）が右ビュー奥行きデータ（Z_R）または左ビュー・データ（L）を担持してもよい。

図８のＡは、基本層（BL）および二つの向上層（EL-1およびEL-2）を使う奥行きマップ送達フォーマットを描いている。基本層８１２はフル解像度左ビューを含む。EL-1層はフル解像度右ビューを含む。層BLおよびEL-1は、伝統的なMVCエンコーダを使ってエンコードされてもよく、あるいはテクスチャーRPU（図示せず、たとえばRPU １２５）を用いてもよい。第二の向上層EL-2 ８１９は、左ビューおよび右ビューの両方について二分の一解像度の奥行きマップ・データを含む。EL-2層のクロマ成分（８１９-B）は、コア奥行きデータ（８１９-A）の解像度を高めるために追加的な奥行きマップ・データをも含んでいてもよい。RPU_Z ８３０は、入力フル解像度LおよびRピクチャーから抽出される奥行きマップ予測データを提供してもよく、これはEL-2ストリームの符号化効率を高めるために使用されることができる。

図８のＡに描かれている送達フォーマットが与えられて、図８のＢは、レガシーおよび互換デコーダを使ういくつかの代替的なデコード・シナリオを描いている。単一のBLデコーダ８５０をもつ受信器は2Dストリームを抽出しうる。MVCデコーダをもつまたはELデコーダ８５５をもつデコーダはFCFR 3Dストリームを抽出しうる。追加的なELデコーダ８６０をもつデコーダ（または３層MVCデコーダ）は、左ビューおよび右ビュー奥行きマップ・データを抽出してもよい。単一のBLデコーダ８５０およびELデコーダ２をもつデコーダは、2Dストリームに加えて対応する奥行きデータを抽出しうる。

図９のＡは、基本層９１２と二つの向上層（９１７、９１９）を使う奥行きマップ送達の実施形態を描いている。基本層９１２は二分の一解像度の左ビュー（L）およびその対応する奥行きマップZ_Lを含む。層EL-1はL'/R'上下式ピクチャー（たとえば１４７画像）を含む。EL-1 ９１７のL'を符号化するとき、BL ９１２のL成分に基づいて適切な参照フレームを生成することによって符号化効率を改善するためにRPU_T（９２５）が使用されてもよい。EL-2層も二分の一解像度右ビュー（R）およびその対応する奥行きマップ・データZ_Rを含む。EL-2 ９１９のR成分を符号化するとき、EL-1 ９１７のR'成分に基づいて適切な参照フレームを生成するために、RPU_T（９２５）が使用されてもよい。RPU_T ９２５Aおよび９２５Bの動作は、同じRPU ９２５によって、または別個のRPUによって実行されうる。先の諸実施形態において論じたように、RPU_Z ９３０は、EL-2 ９１９におけるZ_Rデータの符号化効率を改善するために、BL ９１２およびEL-1 ９１７ストリームのL、L'およびR'成分から奥行きマップ・データを抽出してもよい。ある実施形態では、BLおよびEL-2層が入れ替えられてもよい。

図９のＡに描かれた送達フォーマットが与えられて、図９のＢは受信器におけるデコード・シナリオの例を描いている。単一のBLデコーダ９５０をもつ受信器は二分の一解像度（HR）左ビューおよび二分の一解像度Z_Lをデコードしてもよい。追加的なELデコーダ１ ９５５をもつ受信器はL'/R'上下式信号をもデコードでき、よってフル解像度左ビュー（またはFR右ビュー）および二分の一解像度右ビュー（またはHR左ビュー）を再構成できる。これらの信号の両方が、3Dビューを再現するために使用できる。第二のELデコーダ（たとえば９６０）をもつ受信器は、二分の一解像度右ビューRおよび二分の一解像度Z_Rをもデコードでき、よって、FCFR 3D信号を生成できる。BLデコーダ９５０および第二のELデコーダ９６０のみをもつ受信器は、フレーム互換な3D信号に加えて奥行きデータをデコードしうる。

図１０のＡは、基本層１０１２が二分の一解像度左ビューおよび二分の一解像度左ビュー奥行きマップ（Z_L）を担持し、向上層（１０１７）が二分の一解像度右ビューおよび二分の一解像度右ビュー奥行きマップ（Z_R）を担持する奥行きマップ送達フォーマットを描いている。エンコーダは、これら二つの層をエンコードするために標準的なMVCエンコーダを使ってもよく、あるいはRPU_T（図示せず）（たとえばRPU １２５）を使ってもよい。

受信器では、図１０のＢに描かれるように、単一のBLデコーダ１０３５をもつ受信器は二分の一解像度左ビューおよびその奥行きマップをデコードしうる。追加的なELデコーダ１０４５（たとえば、受信器RPU １４０を含んでいてもいなくてもよいMVCデコーダ）をもつ受信器は、二分の一解像度右ビューおよびその奥行きマップをもデコードできる。二つのビューを組み合わせることによって、受信器は二分の一解像度（またはフレーム・レート互換）3D信号をレンダリングすることができる。

ある代替的な実施形態では、図１０のＡにおいて、ELストリーム１０１７において、水平方向の二分の一解像度R信号および水平方向の二分の一解像度Z_R信号を伝送する代わりに、垂直方向の二分の一解像度信号R'（たとえば上下式信号１１７の下）および垂直方向の二分の一解像度Z_R'を伝送してもよい。

図１１のＡは、BL １１１２およびEL １１１７の二つの層を使う奥行きマップ・データ送達の実施形態を描いている。基本層１１１２は隣り合わせ式L/Rピクチャー（たとえば１１２）のルーマおよびクロマ成分を含む。EL １１１７層は二つのデータ・セットを含む：（ａ）テクスチャーRPU １１２５を使って基本層隣り合わせ式信号を参照することによって符号化された上下式L'/R'信号（たとえば１１７）のルーマの符号化された表現（１１１７-Y）および（ｂ）上下式信号（L'/R'）のクロマ成分（１１１７-UV）のためにリザーブされている空間において担持される奥行きマップ・データ。Z_LおよびZ_L'はいずれももとの左ビュー奥行きマップに対して垂直方向に四分の一解像度、水平方向に四分の一解像度である。組み合わされて、Z_LおよびZ_L'はもとの左ビュー奥行きマップの四分の一解像度、たとえば水平方向および垂直方向の両方で二分の一解像度を表わす。デコーダでは、上下式ピクチャー（１１１７-Y）に関連付けられたクロマ・データは隣り合わせ式ピクチャーからのクロマ・データ（たとえば１１１２-UV）を使って補間されてもよい。

図１１のＢに描かれるように、単一のBLデコーダ１１３５をもつ受信器は、FC 3D信号をデコードしてもよい。二層デコーダをもつ受信器は、上下式L'/R'信号および奥行きマップ・データをもデコードしてもよく、こうして両方のビューについてFCFR 3D信号および奥行きマップ・データを再構成できる。

図１２のＡは、単一層を使う奥行きマップ送達フォーマットのための例示的な実施形態を描いている。層１２０５Ａは、いずれもフル解像度の左右のビュー（LおよびR）と、それらの対応するフル解像度奥行きマップ・データ（Z_LおよびZ_R）を含む。何らかの実施形態では、LおよびRビューは、レガシー・ディスプレイを受け容れるためにより低い解像度のサブピクチャーに分割されてもよい。たとえば、4K解像度ピクチャーは四つの2Kのサブピクチャーを含んでいてもよく、あるいは2Kサブピクチャーは四つの四分の一解像度ピクチャーを担持していてもよい。図１２のＡに描かれるように、クロマ・チャネル１２０５-UVはクロマ・データおよび追加的な奥行きマップ・データ（たとえばZ'_LおよびZ'_R）の両方を担持しうる。

図１２のＡに描かれるように、画像データ（たとえばLまたはR）およびその対応する奥行きデータ（たとえばZ_LまたはZ_R）は垂直方向に整列されてもよい。図１２のＢに描かれるもう一つの実施形態では、画像データおよびその対応する奥行きデータは水平方向も整列されてもよい。

図１３のＡは、二層奥行きマップ送達フォーマットの例示的な実施形態を描いている。このフォーマットは、図７に描かれているフォーマットと同様だが、二分の一解像度の左右のビューを担持する代わりに、この方法は基本層（１３０５）および向上層（１３２５）両方においてフル解像度データを担持する。LおよびRピクチャーはフレーム・レートの二倍で伝送されうる。RPU_Z １３３０は、基本層から奥行きマップ・データを予測し、それを向上層をエンコードするための代替的な参照フレームとして使うことによって、向上層の符号化効率を改善するために使われる。

いくつかの実施形態はRPU_Z １３３０をスキップして、奥行きマップ・データ１３２５をもう一つの基本層としてそれ自身でエンコードしてもよい。

いくつかの実施形態では、RPU_Z １３３０は、基本層１３０５からの情報を利用して、推定奥行きデータZE_LおよびZE_Rを抽出してもよい。その際、向上層１３２５は、もとのZ_LおよびZ_R奥行きデータを含む代わりに、RZ_L＝Z_L−ZE_LおよびRZ_R＝Z_R−ZE_Rのような奥行きマップ残差値を含んでいてもよい。

図１３のＡに描かれた送達フォーマットを与えられて、図１３のＢは、いくつかの代替的な受信器配位を描いている。単一のBLデコーダ１３３５をもつ受信器はフル解像度3Dストリームをデコードしうる。追加的なELデコーダ１３４５をもつ受信器は対応する奥行きデータをもデコードしうる。

図１４は、ピクチャー・データおよび奥行きマップ・データの両方を担持するための単一層伝送フォーマットの例示的な実施形態を描いている。ピクチャー・データおよび奥行きデータは、たとえばフレームまたはシーン・レベルでインターリーブされた仕方で伝送される。ピクチャーは、各ビューのフレーム・レートの四倍のスピード・レートで伝送されうる。基本層１３０５は以下の層成分を含んでいてもよい：フル解像度左ビュー１３０５-L、フル解像度左奥行きマップ１３０５-ZL、フル解像度右ビュー１３０５-Rおよびフル解像度右奥行きマップ１３０５-ZR。いくつかの実施形態は、この１３０５層の諸成分を選択的にスキップすることを決めてもよい。たとえば、エンコーダはビデオ・フレームの集合（たとえば映画シーン）についてはすべての左および右ビュー（L＋R）を伝送するが、シーンの先頭においては奥行きマップ・データのみを伝送してもよい。あるいはまた、エンコーダは、L＋Z_LまたはR＋Z_Rデータのみを伝送してもよい。このフォーマットにおける追加的なメタデータが、デコーダに対して、層成分のシーケンスを示してもよい。

〈非対称的な空間的多重化〉
図１５のＡは、ある実施形態に基づく、奥行きマップを送達するための単一層アプローチの例を描いている。このアプローチは、先に描いた単一層または二層アプローチ（たとえば図５、図９のＡおよび図１０のＡ）と同様だが、非対称的な空間的多重化を使う。すなわち、ピクチャー・ビューおよびその関連する奥行きマップの両方を組み合わせる多重化されたピクチャー（たとえば１５１２）において、ピクチャー・ビュー（たとえば左ビュー（L））とその関連する奥行きマップ（たとえばZ_L）の解像度が等しくないサイズをもつ。

ピクセル解像度h×w（たとえばh＝1080、w＝1920）をもつ多重化された入力フレーム（たとえば１５１２）が与えられて、ある実施形態では、サブサンプリングされた左ビュー（L）はその関連する奥行きマップより多くのピクセルを割り当てられてもよい。よって、1＞a≧1/2であるスケールaを与えられて、もとの左ビュー・ピクチャーはサイズh×awにスケーリング（たとえばサブサンプリング）されてもよく、一方、奥行きマップはサイズh×(1−a)wにスケーリングされてもよい。このアプローチは、対称的な左および右ビューのピクチャー（たとえばa＝1/2の場合）より鮮鋭な3Dピクチャーにつながることがある。

先に論じたように、任意的に、追加的な奥行きデータ（たとえばZ_L'およびZ_L''）が、符号化されたフレームの対応するクロマ成分（たとえば１５１２-UV）に埋め込まれてもよい。

ある実施形態では、AVC/H.264または来るべきHEVCビデオ符号化規格において定義されるのと同様の、エンコード・ビットストリームにおけるトリミング長方形およびアスペクト比シンタックス・パラメータを使うことによって、ピクチャーの有効な領域（たとえばh×aw）を定義することによって、後方互換性が達成されてもよい。そのような実装のもとでは、レガシー2D受信器は、これらのパラメータによって定義されたピクチャー領域（たとえばL）のみを抽出し、デコードし、表示し、奥行きマップ情報（たとえばZ_L）を無視してもよい。3D機能のある受信器はピクチャー全体をデコードし、トリミング・パラメータを用いてピクチャー領域および奥行きマップ領域を決定し、次いで複数のビューをレンダリングするために奥行きマップ情報を使うことができる。3D受信器は、受領されたトリミングおよびアスペクト比パラメータを使って、必要に応じて2Dピクチャーおよび奥行きをスケーリングできる。

ピクチャー毎にピクチャー配置についての情報を含む補助データ（またはメタデータ）も伝送されてもよい。

同じ送達フォーマットは、BL １５１２において、サブ解像度の左ビュー（L）がサブ解像度の右ビュー（R）または上下式L'/R'信号（１４７）の上（L'）もしくは上下式L'/R'信号（１４７）の下（R'）のスケーリングされたバージョンによって置き換えられてもよく、左ビュー奥行きマップが対応する奥行きマップによって置き換えられる代替的な実施形態において使用されてもよい。いくつかの実施形態（図４のＡおよび図１５のＢに示されるような）では、非対称的な空間的多重化は垂直方向に適用されてもよい。いくつかの実施形態（図示せず）では、非対称的な空間的多重化は水平および垂直方向の両方に適用されてもよい。

ある実施形態において、図１５のＣはセグメント分割された奥行きマップに基づく代替的な奥行き送達フォーマットの例を描いている。そのような実施形態では、伝送される奥行きマップのアスペクト比が、伝送される画像ビューのアスペクト比によりよくマッチできる。一例として、入力の1080×1920画像および図１５のＡに描かれるような非対称的な多重化フォーマットを考える。ここで、限定することなく、a＝2/3である。その際、ある実施形態では、ルミナンス信号１５１２-Y（または１５１２C-Y）が1080×1280解像度でスケーリングされた一つのビュー（たとえば左ビューL）と、1080×640解像度でスケーリングされた対応する奥行きマップ（Z_L）を含んでいてもよい。いくつかの実施形態では、もとのアスペクト比によりよくマッチする540×960の奥行きマップを伝送することがより有益であることがある。そのような奥行きマップは、水平方向に二つの連続する部分（たとえばZ_LAおよびZ_LB）にセグメント分割されてもよく、これは図１５のＣに描かれるように、互いに上下に積み重ねることによって多重化されてもよい。よって、ある例示的な実施形態では、ルミナンス信号１５１２C-YSは二つの多重化された部分を含んでいてもよい：第一の解像度（たとえば1080×1440）でスケーリングされた画像部分（たとえば左ビューL）と、奥行きマップ部分を形成するよう一緒に多重化される二つ以上の奥行きマップ・セグメントである。一例では、540×960の入力奥行きマップの二つの奥行きマップ・セグメント（たとえば540×480Z_LAおよび540×480Z_LB）が垂直方向に積み重ねられてもよい。

いくつかの実施形態では、奥行きマップは二つより多くのセグメントにセグメント分割されてもよい。いくつかの実施形態では、奥行きマップは垂直方向でセグメント分割されてもよい。いくつかの実施形態では、奥行きマップは垂直および水平方向の両方でセグメント分割されてもよい。いくつかの実施形態では、奥行きマップは不均等なセグメントにセグメント分割されてもよい。いくつかの実施形態では、セグメントは水平方向に、垂直方向にまたは垂直および水平方向の両方に積み重ねられてもよい。

いくつかの実施形態では、セグメント分割された奥行きマップの一つまたは複数は、多重化された画像の一部として記憶される前に水平または垂直方向に反転されてもよい。実験によれば、そのような反転により、符号化された多重化された画像（たとえば１５１２C-YS）のテクスチャー部分と奥行き部分の間の境界における符号化アーチファクトが軽減されることが示された。さらに、分割した奥行きマップ画像の中心における符号化アーチファクトが少なくなる。

ある例示的な実施形態において、d[i,j]が奥行きマップ（たとえばZ_LB）のセグメントのピクセル値を表わすとする。D_wがこのセグメントの幅を表わすとする。このセグメントのピクセル値が左垂直軸のまわりに反転されたら、i番目の行について、水平反転された（horizontally flipped）セグメント（d_hf(i,j)）のピクセル値は
for (j＝0; j＜Dw; j++)
d_hf[i,j]＝d[i,Dw−j];
として決定されうる。

セグメント分割された奥行きマップ（たとえば１５１２C-YS）をもつ画像を受領するデコーダは、メタデータを使って、デコードされた奥行きマップ・セグメントすべてを適正に整列させてもとの奥行きマップ（たとえばZ_L）を再構成し、それにより適正な3D出力画像を再生成してもよい。どの反転された奥行きマップ・セグメントも、最終的な出力をレンダリングするために使われる前にもとの配向に反転し戻される必要がある。

いくつかの実施形態では、非対称的な空間的多重化および奥行きマップ・セグメント分割は、入力画像の両方の画像ビューを含む奥行き送達フォーマット（たとえば図１２のＡおよびＢ）にも適用されてもよい。

〈代替的な三層送達フォーマット〉
図１６Ａは、三層送達フォーマットに基づくある実施形態に従って3Dビデオおよび奥行きデータを伝送するためのもう一つの例を描いている。図１６Ａは図２Ａおよび図２Ｃに描かれる実施形態の変形と考えられてもよい。図１６Ａに描かれるように、最初の二つの層BL ２１２およびEL-1 ２１７は伝統的な3D FCFR層BL １１２およびEL １１７に対応する。層EL-2 １６１０はEL-1 ２１７とは独立に、BL ２１２からの予測データに基づいて、RPU_T ２２５およびRPU_Z ２３０に対応しうるRPU_Tおよび任意的なRPU_Z（１６２０）を使って符号化される。この例においては、同じL'ビデオ・データ（または代替的にR'データ）がEL-1およびEL-2層の両方において符号化される。図１６Ｂに描かれるように、二つだけのデコーダ（たとえばBLデコーダ２５０およびELデコーダ１ ２５５）をもつ受信器では、ユーザーは選択的に、BLおよびEL-1ストリームをデコードしてFCFR 3Dストリームを生成するか、あるいはBLおよびEL-2ストリームをデコードして裸眼立体視表示に好適なFRストリームおよび奥行きデータ（たとえばFR L＋Z_L）を生成することができる。

ある実施形態では、１６２０のRPU_Zプロセスはなくすことができる。エンコーダは、単に、EL-2 １６１０層の符号化プロセスの間、Z_L奥行きデータを予測するために一定のフラットなグレー値を使ってもよい（たとえば、予測器のすべてのピクセル値が8ビット・ピクチャーについて128に等しく設定されてもよい）。

図１６Ｃは、ある実施形態に基づく、3Dビデオおよび奥行きデータを送達するためのもう一つの例を描いている。この実施形態は図１６Ａに描かれたものと同様だが、ELストリームはいずれもクロマ・データを搬送しない。ある実施形態では、EL-1（１６３０）およびEL-2（１６３５）におけるすべてのクロマ情報が固定値（たとえば8ビット・ピクチャの場合128）に設定される。実験によれば、これにより、全体的なビットレートを有意に節約できる一方、視覚的品質に対する影響が最小限であることが示される。クロマ・データはこれでも、BLストリームのクロマ・データ（２１２-UV）に基づいて再構成されることができる。適正なデコードのために、エンコーダRPUは（たとえばRPU信号伝達または他のメタデータを通じて）デコーダに、EL-1またはEL-2ストリーム中のいかなるデコードされたクロマ・データも無視するよう、通知する必要があることがある。

図１６Ｄは、図１６Ａのもう一つの例示的な変形である。ここではZ_LおよびZ_RデータがEL-2信号１６４０において担持されるが、それぞれ低下した垂直および水平解像度においてである。図１６Ｅに描かれるように、二つのデコーダをもつ受信器は、今や、裸眼立体視3Dアプリケーションのための左右の奥行きデータをもつ、FCFR 3D信号またはFC 3D信号のいずれかをデコードしうる。

〈奥行きマップ・データをもつ代替的な二層FCFR送達フォーマット〉
図１７のＡは、二層送達フォーマットに基づくある実施形態に従って3Dビデオおよび奥行きデータを伝送するためのもう一つの例を描いている。H.264のような多くの圧縮標準において、ビデオ・シーケンス中のエンコードされたピクチャーのサイズは所定のマクロブロック・サイズ（たとえば16×16）の整数倍である必要がある。そうでない場合には、ピクチャー・サイズをしかるべく修正するために、ピクチャーの下部および／または側部に余剰のピクセルが加えられる。一例として、サイズ1920×1080をもつHD信号の符号化を考える。1920は16の倍数であるが、1080はそうではない。ある例示的な実施形態では、そのようなストリームの各ピクチャーは、追加の8行をパディングされて1920×1088のピクチャーを形成してもよい。図１７のＡに描かれるように、ある実施形態では、このパディング（たとえば１７１０および１７１５）は奥行きデータを伝送するために使用されることができる。

図１７のＡに描かれるように、ある実施形態では、基本層（BL）は二つの部分を含む：隣り合わせ式（たとえば1920×1080）多重化ピクチャー（１１２）と、左ビューまたは右ビューいずれかについての奥行きデータのサブサンプリングされたバージョン（たとえば1920×8ZL' １７１０）である。奥行きデータはクロマ情報をもたないので、ある実施形態では、BL信号の追加のパディング行についてのクロマ関係のデータ（１７３５）は単に一定値（たとえば128）に設定されてもよい。

ある実施形態では、信号ZL' １７１０は次のように生成されうる。Z_Lは二分の一高解像度左ビュー奥行きデータ信号（たとえば960×540）を表わすとする。この信号は、水平方向および垂直方向の両方でフィルタリングおよびサブサンプリングされて、パディング・データ（たとえば1920×8）の解像度内に収まるサブサンプリングされたバージョンを生成してもよい。たとえば、960×540信号を与えられて、240×60の信号ZL'を生成してもよい。次いで、240*60＝14,400ZL'バイトを、任意の好適なパッキング方式を使って、1920*8＝15,360バイトの利用可能な空間中にパッキングすることができる。

図１７のＡに描かれるように、ある実施形態では、向上層（EL）は上下式データ・ルミナンス・データ（１１７-Y）、より低解像度の左ビューまたは右ビュー奥行きデータ（たとえばZR' １７１５）および高解像度左ビューおよび右ビュー奥行きデータ（１７４５-Uおよび１７４５-V）を含む。たとえば、ルミナンス信号において、ZR' １７１５はもとのZ_R奥行きデータの240×60のサブサンプリングされたバージョンが1920×8のパディング領域中にパッキングされたものを含んでいてもよい。クロマ（１７４５）については、上下式信号（１１７）のクロマを伝送する代わりに、高解像度Z_RおよびZ_L奥行きデータを伝送してもよい。ある実施形態では、U（またはCb）クロマ・データを伝送する代わりに、Z_RおよびZ_Lの偶数（even）列（Z_R-e、Z_L-e １７４５）を伝送し、１１７のV（またはCr）データを伝送する代わりに、Z_RおよびZ_Lの奇数（odd）列（Z_R-o、Z_L-o １７４５）を伝送してもよい。BLの場合と同様に、ZR'データ１７１５はクロマ情報をもたず、よってその対応するクロマ・データ（１７４０）は固定値（たとえば128）に設定されてもよい。

層間予測要求およびマクロブロック・データの符号化および復号の逐次的な性質のため、実際上、ある時刻tに符号化されるフレームについて少なくとも奥行きデータZR'（１７１５）が、実際には、前に、たとえば時刻t−1またはそれ以前に符号化されたフレームについての奥行きデータを表わすことがある。この遅延は、RPU_Z １７３０が、向上層におけるZ_LおよびZ_R（１７６５）を符号化（または復号）するために必要とされるすべての奥行きデータ（たとえばZR'）を完全に再構成できるようにするために必要であることがある。たとえば、エンコードの際、時刻T₀においては、EL(T₀)フレームはダミーZR'データを含んでいてもよい（たとえばすべての値が128に等しく設定されている）。次いで、EL(T₁)フレームがT₀フレームの奥行きデータを含んでいてもよく、EL(T₂)フレームがT₁フレームの奥行きデータを含んでいてもよく、などとなる。デコードの際には、第一のデコードされたフレームのダミー奥行きデータは無視され、奥行きデータは少なくとも一フレーム遅れで復元される。

ELのルミナンスは第二のELエンコーダを使ってそれ自身でエンコードされることができ、あるいは図１７のＡに描かれるように、基本層を参照してテクスチャーRPU_T １７２５を使ってエンコードされることができる。奥行きマップRPU_Z（１７３０）が使われてもよく、それによりELの「クロマ」空間における高解像度奥行きデータが、サブサンプリングされたZL'（１７１０）およびZR'データ（１７１５）を考慮に入れることによって符号化されうる。たとえば、ある実施形態において、RPU_Z（１７３０）は単純なアップサンプリング器を有していてもよい。

図１７のＡに描かれたビットストリームを与えられて、単一デコーダがBLビットストリームをデコードし、フレーム互換（FC）3Dストリームおよびビューの一方についてのサブサンプリングされた奥行きデータを抽出できる。二層（たとえばMVC）デコーダは、FCFR 3DストリームおよびZ_LおよびZ_R奥行きデータをデコードしうる。

図１７のＢは、図１７のＡに描かれた奥行きマップ送達フォーマットの変形を描いている。符号化効率を改善するために、もとの奥行きデータZ_LおよびZ_R（１７４５-Uおよび１７４５-V）を符号化する代わりに、エンコーダは、奥行きRPU_Z １７３０を使って、奥行き残差RZ_L＝Z_L−ZP_LおよびRZ_R＝Z_R−ZP_Rを生成して符号化してもよい。ここで、ZP_LおよびZP_Rは、ZL'（１７１０）およびZR'（１７１５）信号に基づく、予測されたZ_LおよびZ_Rデータを表わす。これらの奥行き残差は次いで、ELストリームにおける「クロマ」情報（１７６５-Uおよび１７６５-V）の一部として符号化される。ある実施形態では、符号化および復号プロセスの間、残差奥行きマップ・データRZ_LおよびRZ_Rデータ（１７６５）は、以前の符号化された残差奥行きマップ・データまたは固定値、例えば128を参照して符号化（または復号）されうる。よって、符号化されたZR'（１７１５）およびZL'（１７１０）に対する依存性はなく、先に論じたように前に符号化されたフレームからのZR'奥行きデータを使う必要はない。

もう一つの実施形態では、図１７のＡまたはＢに描かれるELストリームは、奥行きデータを、EL-U（１７４５-Uまたは１７６５-U）またはEL-V（１７４５-Vまたは１７６５-V）領域の一部のみに含んでいてもよい。たとえば、Z_R-o、Z_L-o １７４５-VストリームまたはRZ_R-o、RZ_L-o １７６５-Vストリームは一定の値（たとえば128）によって置き換えられてもよい。このアプローチは、より低い奥行きマップ解像度を代償として、ビットレート要求を減らす。

ビットレート要求を減らすためのもう一つのアプローチは、一つのビューのみについての奥行きマップ・データ（たとえばZ_R）を伝送することを含む。そのようなシナリオでは、他方のビューの奥行き領域についてのすべてのデータ（たとえばZ_L）は、一定の値（たとえば128）で埋められてもよい。あるいはまた、単一のビューについての奥行きマップ・データ（たとえばZ_R）を前の二倍の解像度で伝送してもよい。たとえば、ある実施形態では、Z_L-oおよびZ_L-e奥行きデータが追加的なZRデータによって置き換えられてもよい。

図１７のＡおよびＢはいずれも、基本層が隣り合わせ式ストリームを含み、向上層が上下式ストリームを含む実施形態を描いている。他の実施形態では、同じプロセスは、BLが上下式のストリームを含み、ELが隣り合わせ式ストリームを含むシステムに適用されてもよい。

〈例示的なコンピュータ・システム実装〉
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されたシステム、マイクロコントローラ、フィールド・プログラム可能なゲート・アレイ（FPGA）または他の構成設定可能もしくはプログラム可能な論理デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）のような集積回路（IC）装置および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されてもよい。コンピュータおよび／またはICは、本稿に記載したような奥行きマップ送達フォーマットをエンコードおよびデコードすることに関係する命令を実行、制御または執行してもよい。コンピュータおよび／またはICは、本稿に記載したような奥行きマップ送達フォーマットをエンコードおよびデコードすることに関係する多様なパラメータまたは値の任意のものを計算してもよい。画像およびビデオのダイナミックレンジ拡張の実施形態は、ハードウェア、ソフトウェア、ファームウェアおよびそれらのさまざまな組み合わせにおいて実装されうる。

本発明のある種の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを有する。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける一つまたは複数のプロセッサが、該プロセッサにとってアクセス可能なプログラム・メモリ中のソフトウェア命令を実行することによって、上記に記載したような奥行きマップ送達フォーマットをエンコードおよびデコードする方法を実装してもよい。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されたときに該データ・プロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを担持する任意の媒体を含みうる。本発明に基づくプログラム・プロダクトは、幅広い多様な形のいかなるものであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体などのような物理的な媒体であってもよい。プログラム・プロダクト上のコンピュータ可読信号は任意的に圧縮または暗号化されていてもよい。

上記でコンポーネント（たとえば、ソフトウェア・モジュール、プロセッサ、組立体、装置、回路など）が言及されるとき、特に断わりのない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、本発明の例示した実施例における機能を実行する開示される構造と構造的に等価ではないコンポーネントも含め、記載されるコンポーネントの機能を実行する（すなわち機能的に等価な）任意のコンポーネントをそのコンポーネントの等価物として含むと解釈されるべきである。

〈等価物、拡張、代替その他〉
このように、奥行きマップ送達フォーマットをエンコードおよびデコードすることに関係する例示的な実施形態について述べてきた。以上の明細書では、本発明の諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。

いくつかの態様を記載しておく。
〔態様１〕
3D奥行きマップ・データを送達する方法であって：
第一のビューおよび第二のビューを含む入力ピクチャーにアクセスする段階であって、各ビューはある水平方向および垂直方向ピクセル解像度を有する、段階と；
前記入力ピクチャーについての入力奥行きデータにアクセスする段階と；
前記入力ピクチャーに基づいて隣り合わせ式ピクチャーおよび上下式ピクチャーを生成する段階と；
エンコーダを使って前記隣り合わせ式ピクチャーをエンコードして、符号化された基本層ストリーム（２１２）を生成する段階と；
前記エンコーダおよびテクスチャーRPU（２２５）を使って前記上下式ピクチャーをエンコードして、符号化された第一の向上層（EL-1、２１７）を生成する段階であって、前記符号化された第一の向上層は部分的には前記基本層ストリームに基づいて符号化される、段階と；
前記エンコーダおよびZ-RPU（２３０）を使って前記隣り合わせ式ピクチャーについての奥行きデータをエンコードして、符号化された第二の向上層（EL-2）を生成する段階であって、前記符号化された第二の向上層は部分的には前記基本層ストリームに基づいて符号化され、前記隣り合わせ式ピクチャーについての前記奥行きデータは前記入力ピクチャーの前記入力奥行きデータに基づいて生成される、段階とを含む、
方法。
〔態様２〕
前記符号化された基本層、前記符号化された第一の向上層および前記符号化された第二の向上層を出力符号化ビットストリームに多重化する段階をさらに含む、態様１記載の方法。
〔態様３〕
前記Z-RPUが、第一のビューの奥行きマップの推定および第二のビューの奥行きマップの推定を、前記入力ピクチャーに基づいて生成する、態様１記載の方法。
〔態様４〕
出力ビデオを生成する方法であって：
符号化された基本層（BL）ストリーム（２１２）を、BLデコーダ（２５０）を用いてデコードして、フレーム互換な（FC）3Dビデオ・ストリームを生成する段階と；
符号化された第一の向上層（EL）ストリーム（２１７）を、第一のELデコーダ（２５５）およびテクスチャーRPUを用いてデコードして、フレーム互換なフル解像度（FCFR）3Dビデオ・ストリームを生成する段階であって、前記第一のELストリームのデコードは部分的には前記基本層ストリームから生成されるデータに基づく、段階と；
符号化された第二の向上層ストリーム（２１９S）を、第二のELデコーダ（２６５）およびZ-RPUを用いてデコードして、出力奥行きマップ・データを生成する段階であって、前記符号化された第二の向上層ストリームのデコードは部分的には前記基本層ストリームから生成されるデータに基づく、段階とを含む、
方法。
〔態様５〕
3D奥行きマップ・データを送達する方法であって：
第一のビューおよび第二のビューを含む入力ピクチャーにアクセスする段階であって、各ビューはある水平方向および垂直方向ピクセル解像度を有する、段階と；
前記入力ピクチャーについての入力奥行きデータにアクセスする段階と；
前記入力ピクチャーに基づいて隣り合わせ式ピクチャーおよび上下式ピクチャーを生成する段階と；
エンコーダを使って前記上下式ピクチャーをエンコードして、符号化された基本層ストリーム（２１７）を生成する段階と；
前記エンコーダおよびテクスチャーRPU（２２５）を使って前記隣り合わせ式ピクチャーをエンコードして、符号化された第一の向上層（EL-1、２１２）を生成する段階であって、前記符号化された第一の向上層は部分的には前記基本層ストリームに基づいて符号化される、段階と；
前記エンコーダおよびZ-RPU（２３０）を使って前記上下式ピクチャーについての奥行きデータをエンコードして、符号化された第二の向上層（EL-2）を生成する段階であって、前記符号化された第二の向上層は部分的には前記基本層に基づいて符号化され、前記上下式ピクチャーについての前記奥行きデータは前記入力ピクチャーの前記入力奥行きデータに基づいて生成される、段階とを含む、
方法。
〔態様６〕
3D奥行きマップ・データを送達する方法であって：
第一のビューおよび第二のビューを含む入力ピクチャーにアクセスする段階であって、各ビューはある水平方向および垂直方向ピクセル解像度を有する、段階と；
前記入力ピクチャーについての入力奥行きデータにアクセスする段階と；
前記入力ピクチャーに基づいて隣り合わせ式ピクチャーおよび上下式ピクチャーを生成する段階と；
エンコーダを使って前記隣り合わせ式ピクチャーをエンコードして、符号化された基本層ストリーム（３１２）を生成する段階と；
前記エンコーダおよびテクスチャーRPU（３２５）を使って前記上下式ピクチャーをエンコードして、符号化された第一の向上層（EL-1、３１７）を生成する段階であって、前記符号化された第一の向上層は部分的には前記基本層ストリームに基づいて符号化される、段階と；
前記エンコーダを使って隣り合わせ式奥行きマップ・データをエンコードして、符号化された第二の向上層（３１９）を生成する段階であって、前記前記隣り合わせ式奥行きマップ・データは前記入力ピクチャーの前記入力奥行きデータに基づく、段階とを含む、
方法。
〔態様７〕
態様６記載の方法であって、前記隣り合わせ奥行きマップ・データは残差マップ・データを含み、当該方法が前記残差奥行きマップ・データを生成することは：
Z-RPU（３３０）を用いて前記入力ピクチャーに基づく推定奥行きマップ・データを生成する段階と；
前記入力奥行きマップ・データと前記推定奥行きマップ・データとの間の差に基づいて前記残差奥行きマップ・データを生成する段階とを含む、
方法。
〔態様８〕
3D奥行きマップ・データを送達する方法であって：
第一のビューおよび第二のビューを含む入力ピクチャーにアクセスする段階であって、各ビューはある水平方向および垂直方向ピクセル解像度を有する、段階と；
前記入力ピクチャーについての入力奥行きデータにアクセスする段階と；
前記入力ピクチャーに基づいて隣り合わせ式ピクチャーを生成する段階と；
前記垂直方向ピクセル解像度の半分および前記入力ピクチャーの前記第一のビューと同じ水平方向ピクセル解像度をもつ第一の二分の一ピクチャー（L'）を生成する段階と；
前記垂直方向ピクセル解像度の半分および前記入力ピクチャーの前記第二のビューと同じ水平方向ピクセル解像度をもつ第二の二分の一ピクチャー（R'）を生成する段階と；
エンコーダを用いて前記隣り合わせ式ピクチャーをエンコードして、符号化された基本層（４１２）を生成する段階と；
前記エンコーダ、Z-RPU（４３０）およびテクスチャーRPU（４２５）を用いて前記第一の二分の一ピクチャーおよび前記第一の二分の一ピクチャーのための奥行きマップ・データをエンコードして、符号化された第一の向上層（４１７）を生成する段階であって、前記第一の向上層は部分的には前記基本層からのデータに基づく、段階と；
前記エンコーダ、Z-RPU（４３０）およびテクスチャーRPU（４２５）を用いて前記第二の二分の一ピクチャーおよび前記第二の二分の一ピクチャーのための奥行きマップ・データをエンコードして、符号化された第二の向上層（４１９）を生成する段階であって、前記第二の向上層は部分的には前記基本層からのデータに基づく、段階とを含む、
方法。
〔態様９〕
出力ビデオを生成する方法であって：
符号化された基本層（BL）ストリームを、BLデコーダ（４５０）を用いてデコードして、フレーム互換な（FC）3Dビデオ・ストリームを生成する段階と；
符号化された第一の向上層（EL-1）ストリームを、第一のELデコーダ（４５５）、テクスチャーRPUおよびZ-RPUを用いてデコードして、第一のビューのフル解像度ビデオ、第二のビューの二分の一解像度ビデオおよび前記第一のビューについての奥行きマップ・データを生成する段階であって、前記第一の向上ストリームのデコードは部分的には前記基本層ストリームからのデータに基づく、段階と；
符号化された第二の向上層ストリーム（４１９）を、第二のELデコーダ（４６０）、テクスチャーRPUおよびZ-RPUを用いてデコードして、FCFR ３Ｄビデオおよび第二のビューについての奥行きマップ・データを生成する段階であって、前記第二の向上ストリームのデコードは部分的には前記基本層ストリームからのデータに基づく、段階とを含む、
方法。
〔態様１０〕
3D奥行きマップ・データを送達する方法であって：
第一のビューおよび第二のビューを含む入力ピクチャーにアクセスする段階であって、各ビューはある水平方向および垂直方向ピクセル解像度を有する、段階と；
前記入力ピクチャーについての入力奥行きデータにアクセスする段階と；
前記水平方向ピクセル解像度の半分および前記入力ピクチャーの前記第一のビューと同じ垂直方向ピクセル解像度をもつ第一の二分の一ピクチャーを生成する段階と；
前記水平方向ピクセル解像度の半分および前記入力ピクチャーの前記第二のビューと同じ垂直方向ピクセル解像度をもつ第二の二分の一ピクチャーを生成する段階と；
エンコーダを使って、前記第一の二分の一ピクチャーおよび第三の二分の一ピクチャーを有する多重化されたピクチャーを生成して、符号化された基本層（５１２）を生成する段階であって、前記第三の二分の一ピクチャーは前記第一の二分の一ピクチャーの奥行きマップ・データ（Z_L）または前記第二の二分の一ピクチャーのいずれかを含む、段階とを含む、
方法。
〔態様１１〕
3D奥行きマップ・データを送達する方法であって：
第一のビューおよび第二のビューを含む入力ピクチャーにアクセスする段階と；
前記入力ピクチャーについての入力奥行きデータにアクセスする段階と；
エンコーダを使って前記入力ピクチャーの前記第一のビューをエンコードして、第一の符号化された基本層ストリーム（６１２）を生成する段階と；
前記エンコーダを使って第三のピクチャーをエンコードして、第二の符号化された基本層ストリーム（６１７）を生成する段階であって、前記第三のピクチャーは前記入力ピクチャーの前記第一のビューの奥行きマップ・データまたは前記第二のビューのいずれかを含む、段階とを含む、
方法。
〔態様１２〕
3D奥行きマップ・データを送達する方法であって：
第一のビューおよび第二のビューを含む入力ピクチャーにアクセスする段階であって、各ビューはある水平方向および垂直方向ピクセル解像度を有する、段階と；
前記水平方向ピクセル解像度の半分および前記入力ピクチャーの前記第一のビューと同じ垂直方向ピクセル解像度をもつ第一の二分の一ピクチャーを生成する段階と；
前記水平方向ピクセル解像度の半分および前記入力ピクチャーの前記第二のビューと同じ垂直方向ピクセル解像度をもつ第二の二分の一ピクチャーを生成する段階と；
前記垂直方向ピクセル解像度の半分および前記入力ピクチャーの前記第一のビューと同じ水平方向ピクセル解像度をもつ第三の二分の一ピクチャーを生成する段階と；
前記垂直方向ピクセル解像度の半分および前記入力ピクチャーの前記第二のビューと同じ水平方向ピクセル解像度をもつ第四の二分の一ピクチャーを生成する段階と；
エンコーダを使って前記第一の二分の一ピクチャーおよび前記第一の二分の一ピクチャーの奥行きマップ・データをエンコードして、符号化された基本層ストリーム（９１２）を生成する段階と；
前記エンコーダおよびテクスチャーRPU（９２５）を使って前記第三の二分の一ピクチャー（L'）および前記第四の二分の一ピクチャー（R'）をエンコードして、符号化された第一の向上層ストリーム（EL-1、９１７）を生成する段階であって、前記符号化された第一のELストリームにおける前記第三の二分の一ピクチャーのエンコードは、部分的には前記第一の二分の一ピクチャーに基づく、段階と；
前記エンコーダ、前記テクスチャーRPU（９２５）およびZ-RPU（９３０）を使って前記第二の二分の一ピクチャーおよび前記第二の二分の一ピクチャーのための奥行きマップ・データをエンコードして、符号化された第二の向上層（EL-2、９１９）を生成する段階であって、前記符号化された前記第二のELにおける前記第二の二分の一ピクチャーのエンコードは、部分的には前記第四の二分の一ピクチャーに基づき、前記第二の二分の一ピクチャーの前記奥行きマップ・データの符号化は、部分的には前記Z-RPUを通じて前記入力ピクチャーから生成されたデータに基づく、段階とを含む、
方法。
〔態様１３〕
出力ビデオを生成する方法であって：
符号化された基本層（BL）ストリーム（４１２）を、BLデコーダ（９５０）を用いてデコードして、第一のビューの二分の一解像度信号および前記第一のビューの奥行きマップを生成する段階と；
符号化された第一の向上層（EL-1）ストリームを、第一のELデコーダ（９５５）およびテクスチャーRPUを用いてデコードして、フレーム互換な3Dビデオおよび第二のビューの二分の一解像度信号を生成する段階であって、前記EL-1層のデコードは部分的には前記基本層から抽出されるデータに基づく、段階と；
符号化された第二の向上層ストリーム（EL-2）を、第二のELデコーダ（９６０）、前記テクスチャーRPUおよびZ-RPUを用いてデコードして、FCFR 3Dビデオおよび前記第二のビューについての奥行きマップ・データを生成する段階であって、前記EL-2層のデコードは部分的には前記基本層ストリームおよび前記第一の向上層から抽出されるデータに基づく、段階とを含む、
方法。
〔態様１４〕
3D奥行きマップ・データを送達する方法であって：
第一のビューおよび第二のビューを含む入力ピクチャーにアクセスする段階であって、各ビューはある水平方向および垂直方向ピクセル解像度を有する、段階と；
前記入力ピクチャーについての入力奥行きデータにアクセスする段階と；
前記入力ピクチャーに基づいて隣り合わせ式ピクチャーを生成する段階と；
前記入力ピクチャーに基づいて上下式ピクチャーを生成する段階と；
エンコーダを使って前記隣り合わせ式ピクチャーをエンコードして、符号化された基本層ストリーム（１１１２）を生成する段階と；
前記エンコーダ、テクスチャーRPU（１１２５）およびZ-RPUを使って、第一の部分（１１１７-Y）および第二の部分（１１１７-UV）を含む符号化された向上層（EL）ストリーム（１１１７）をエンコードする段階であって、前記第一の部分は前記上下式ピクチャーからのルーマ成分データを含み、前記第二の部分は前記入力ピクチャーの前記入力奥行きデータに基づく奥行きデータを含む、段階とを含む、
方法。
〔態様１５〕
出力ビデオを生成する方法であって：
符号化された基本層ストリームを、基本層デコーダ（１１３５）を用いてデコードして、FC 3Dビデオ出力を生成する段階と；
符号化された向上層ストリームを、向上層デコーダ（１１４５）、テクスチャーRPUおよびZ-RPUを用いてデコードして、出力ルミナンス・データおよび奥行きマップ・データを生成する段階であって、前記符号化された向上層ストリームのデコードは部分的には前記基本層からのデータに基づく、段階と；
前記FC 3Dストリームおよび前記出力ルミナンス・データに基づいてFCFR 3Dストリームを生成する段階とを含む、
方法。
〔態様１６〕
態様１６記載の方法であって、さらに：
ルーマ隣り合わせ式データおよびクロマ隣り合わせ式データを含む隣り合わせ式ピクチャーを前記BLデコーダを用いてデコードする段階と；
前記出力ルミナンス・データに基づいて上下式ピクチャーについてのルーマ・データを生成する段階と；
前記隣り合わせ式ピクチャーの前記クロマ隣り合わせ式データに基づいて前記上下式ピクチャーについてのクロマ・データを補間する段階とを含む、
方法。
〔態様１７〕
態様１、５、６または１５のうちいずれか一項記載の方法であって、さらに：
前記水平方向ピクセル解像度の半分および前記入力ピクチャーの前記第一のビューと同じ垂直方向ピクセル解像度をもつ第一の二分の一ピクチャーを生成する段階と；
前記水平方向ピクセル解像度の半分および前記入力ピクチャーの前記第二のビューと同じ垂直方向ピクセル解像度をもつ第二の二分の一ピクチャーを生成する段階と；
前記第一の二分の一ピクチャーおよび前記第二の二分の一ピクチャーを多重化して前記隣り合わせ式ピクチャーを生成する段階とを含む、
方法。
〔態様１８〕
態様１、５、６または１５のうちいずれか一項記載の方法であって、さらに：
前記垂直方向ピクセル解像度の半分および前記入力ピクチャーの前記第一のビューと同じ水平方向ピクセル解像度をもつ第三の二分の一ピクチャーを生成する段階と；
前記垂直方向ピクセル解像度の半分および前記入力ピクチャーの前記第二のビューと同じ水平方向ピクセル解像度をもつ第四の二分の一ピクチャーを生成する段階と；
前記第三の二分の一ピクチャーおよび前記第四の二分の一ピクチャーを多重化して前記上下式ピクチャーを生成する段階とを含む、
方法。
〔態様１９〕
3D奥行きマップ・データを送達する方法であって：
入力立体視ピクチャーおよび入力奥行きデータにアクセスする段階と；
前記入力立体視ピクチャーに応答して第一の空間的サイズの画像データ・パーティションを生成する段階と；
前記入力奥行きデータに応答して前記第一のサイズとは異なる第二の空間的サイズをもつ奥行きマップ・データ・パーティションを生成する段階と；
前記画像データ・パーティションおよび前記奥行きマップ・データ・パーティションを多重化して多重化出力ピクチャーを形成する段階と；
エンコーダを使って、前記多重化出力ピクチャーをエンコードして、符号化されたビットストリームを生成する段階とを含む、
方法。
〔態様２０〕
前記画像データ・パーティションおよび前記奥行きマップ・データ・パーティションが等しい水平方向解像度をもつ、態様１９記載の方法。
〔態様２１〕
前記画像データ・パーティションが前記奥行きマップ・データ・パーティションより高い水平方向解像度をもつ、態様１９記載の方法。
〔態様２２〕
前記画像データ・パーティションが前記入力立体視ピクチャーの第一のビューまたは第二のビューに基づき、前記奥行きマップ・データ・パーティションが前記入力立体視ピクチャーの第一のビューまたは第二のビューの前記奥行きデータに基づく、態様１９記載の方法。
〔態様２３〕
3D奥行きマップ・データを送達する方法であって：
第一のビューおよび第二のビューを含む入力ピクチャーにアクセスする段階であって、各ビューはある水平方向および垂直方向ピクセル解像度を有する、段階と；
前記入力ピクチャーについての入力奥行きデータにアクセスする段階と；
前記入力ピクチャーに基づいて隣り合わせ式ピクチャーおよび上下式ピクチャーを生成する段階と；
エンコーダを使って前記隣り合わせ式ピクチャーをエンコードして、符号化された基本層ストリーム（２１２）を生成する段階と；
前記エンコーダおよびテクスチャーRPU（２２５）を使って前記上下式ピクチャーをエンコードして、符号化された第一の向上層（EL-1、２１７）を生成する段階であって、前記符号化された第一の向上層は部分的には前記基本層ストリームに基づいて符号化される、段階と；
前記エンコーダおよび前記テクスチャーRPUを使って、前記上下式ピクチャーの一部および第二の奥行きデータをエンコードして、符号化された第二の向上層（EL-2）を生成する段階であって、前記符号化された第二の向上層は部分的には前記基本層に基づいて符号化され、前記第二の奥行きデータは前記入力ピクチャーの前記入力奥行きデータに基づいて生成される、段階とを含む、
方法。
〔態様２４〕
前記第一の向上層および前記第二の向上層をエンコードする前に、前記上下式ピクチャーにおけるクロマ・ピクセルの値が、固定されたピクセル値に設定される、態様２３記載の方法。
〔態様２５〕
前記第二の奥行きデータが、前記入力ピクチャーの一つのみのビューからの水平方向にサブサンプリングされた奥行きデータを含む、態様２３記載の方法。
〔態様２６〕
前記第二の奥行きデータが、前記入力ピクチャーの左ビューおよび右ビュー両方からの水平方向にサブサンプリングされ垂直方向にサブサンプリングされた奥行きデータを含む、態様２３記載の方法。
〔態様２７〕
3D奥行きマップ・データを送達する方法であって：
第一のビューおよび第二のビューを含む入力ピクチャーにアクセスする段階であって、各ビューは第一の水平方向ピクセル解像度および第一の垂直方向ピクセル解像度を有する、段階と；
前記入力ピクチャーについての第一の入力奥行きデータおよび前にエンコードされたピクチャーからの第二の入力奥行きデータにアクセスする段階と；
前記入力ピクチャーに基づいて隣り合わせ式ピクチャー（１１２）および上下式ピクチャー（１１７）を生成する段階と；
前記隣り合わせ式ピクチャーおよび前記上下式ピクチャーを、パディングされたデータ（１７１０、１７１５）を用いてパディングして、パディングされた隣り合わせ式ピクチャーおよびパディングされた上下式ピクチャーを生成する段階であって、前記パディングされたデータは、前記第一の入力奥行きデータ、前記第二の入力奥行きデータまたは前記第一および第二の入力奥行きデータの組み合わせのいずれかに基づく第一の符号化された奥行きデータを含む、段階と；
エンコーダを使って前記パディングされた隣り合わせ式ピクチャーをエンコードして、符号化された基本層ストリームを生成する段階と；
前記パディングされた上下式ピクチャーのクロマ・ピクセル値を、前記第二の入力奥行きデータに基づく第二の符号化された奥行きデータで置き換えて、第二のパディングされた上下式ピクチャーを生成する段階と；
前記エンコーダおよびテクスチャーRPU（１７２５）を使って前記第二のパディングされた上下式ピクチャーをエンコードして、符号化された向上層ストリームを生成する段階であって、前記符号化された向上層ストリームは部分的には前記基本層ストリームに基づいて符号化される、段階とを含む、
方法。
〔態様２８〕
前記パディングされた隣り合わせ式ピクチャーおよび前記パディングされた上下式ピクチャーのそれぞれが、あらかじめ定義されたマクロブロック・サイズの整数倍である垂直方向および水平方向の空間ピクセル解像度をもつ、態様２７記載の方法。
〔態様２９〕
前記第一の水平方向解像度または前記第一の垂直方向解像度の少なくとも一方があらかじめ定義されたマクロブロック・サイズの整数倍ではない、態様２７記載の方法。
〔態様３０〕
前記第一の符号化された奥行きデータは、前記第一の入力奥行きデータまたは前記第二の入力奥行きデータのいずれかから導出されるサブサンプリングされた奥行きデータを含む、態様２７記載の方法。
〔態様３１〕
前記第二の符号化された奥行きデータは、前記第一の符号化された奥行きデータより高い空間解像度で前記第二の入力奥行きデータから導出される奥行きデータを含む、態様２７記載の方法。
〔態様３２〕
前記第二の符号化された奥行きデータは、前記第一の入力奥行きデータと予測された奥行きデータとに基づいて生成された残差奥行きデータを含み、前記予測された奥行きデータは前記第一の符号化された奥行きデータに基づく、態様２７記載の方法。
〔態様３３〕
Z-RPU（１７３０）を使って前記ELストリームの前記第二の符号化された奥行きデータを圧縮する段階をさらに含み、前記向上層ストリームにおける圧縮された第二の符号化された奥行きデータは、部分的には前記第一の符号化された奥行きデータを参照して符号化される、態様２７記載の方法。
〔態様３４〕
3D奥行きマップ・データを送達する方法であって：
入力立体視ピクチャーおよび入力奥行きデータにアクセスする段階と；
前記入力立体視ピクチャーに応答して第一の空間的サイズの画像データ・パーティションを生成する段階と；
前記入力奥行きデータに応答してスケーリングされた奥行きマップを生成する段階と；
前記スケーリングされた奥行きマップを二つ以上の奥行きマップ・セグメントに分割する段階と；
前記奥行きマップ・セグメントの二つ以上を含む奥行きマップ・パーティションを生成する段階であって、前記奥行きマップ・データ・パーティションは、前記第一のサイズとは異なる第二の空間的サイズをもつ、段階と；
前記画像データ・パーティションおよび前記奥行きマップ・データ・パーティションを多重化して、多重化出力ピクチャーを形成する段階であって、前記奥行きマップ・パーティションにおける少なくとも一つの奥行きマップ・セグメントの位置は、前記スケーリングされた奥行きマップにおけるそのもとの位置に対してシフトされる、段階と；
エンコーダを使って、前記多重化出力ピクチャーをエンコードして、符号化されたビットストリームを生成する段階とを含む、
方法。
〔態様３５〕
前記スケーリングされた奥行き画像が、水平方向または垂直方向を通じて分割される、態様３４記載の方法。
〔態様３６〕
前記奥行きマップ・データ・パーティションを生成する段階が、前記奥行きマップ・セグメントの少なくとも二つを垂直方向に位置させることを含み、前記奥行きマップ・セグメントの前記少なくとも二つは前記スケーリングされた奥行きマップにおいては水平方向に位置されていたものである、態様３４記載の方法。
〔態様３７〕
前記奥行きマップ・データ・パーティションを生成する段階が、前記奥行きマップ・セグメントの少なくとも二つを水平方向に位置させることを含み、前記奥行きマップ・セグメントの前記少なくとも二つは前記スケーリングされた奥行きマップにおいては垂直方向に位置されていたものである、態様３４記載の方法。
〔態様３８〕
3D奥行きマップ・データをデコードする方法であって：
符号化されたビットストリームをデコードして、画像データ・パーティションおよび奥行きマップ・データ・パーティションを生成する段階であって、前記奥行きマップ・データ・パーティションは、第一の空間的位置に位置されているシフトされた奥行きマップ・セグメントを有している、段階と；
前記シフトされた奥行きマップ・セグメントを、前記第一の空間的位置から第二の空間的位置にシフトして、前記第一の空間的位置とは異なる第二の空間的位置における奥行きマップ・セグメントを生成する段階と；
少なくとも、前記画像データ・パーティションおよび前記第二の空間的位置における前記奥行きマップ・セグメントに応答して、デコードされた出力信号を生成する段階とを含む、
方法。
〔態様３９〕
前記エンコードする段階の前に、前記奥行きマップ・パーティションにおける少なくとも一つの奥行きマップ・セグメントを水平方向または垂直方向に反転させる段階をさらに含む、態様３４記載の方法。
〔態様４０〕
前記デコードされた出力信号を生成する前に、前記シフトされた奥行きマップ・セグメントを水平方向または垂直方向に反転させる段階をさらに含む、態様３８記載の方法。
〔態様４１〕
プロセッサを有し、態様１ないし４のうちいずれか一項記載の方法を実行するよう構成されている装置。
〔態様４２〕
態様１ないし４のうちいずれか一項記載の方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。

Claims (9)

1. 3D奥行きマップ・データを送達する方法であって：
   入力立体視ピクチャーおよび入力奥行きデータにアクセスする段階と；
   前記入力立体視ピクチャーに応答して第一の空間的サイズの画像データ・パーティションを生成する段階と；
   前記入力奥行きデータに応答してスケーリングされた奥行きマップを生成する段階と；
   前記スケーリングされた奥行きマップを二つ以上の奥行きマップ・セグメントに分割する段階と；
   前記奥行きマップ・セグメントの二つ以上を含む奥行きマップ・パーティションを生成する段階であって、前記奥行きマップ・データ・パーティションは、前記第一のサイズとは異なる第二の空間的サイズをもつ、段階と；
   前記画像データ・パーティションおよび前記奥行きマップ・データ・パーティションを多重化して、多重化出力ピクチャーを形成する段階であって、前記奥行きマップ・パーティションにおける少なくとも一つの奥行きマップ・セグメントの位置は、前記スケーリングされた奥行きマップにおけるそのもとの位置に対してシフトされる、段階と；
   エンコーダを使って、前記多重化出力ピクチャーをエンコードして、符号化されたビットストリームを生成する段階とを含む、
   方法。
2. 前記スケーリングされた奥行き画像が、水平方向または垂直方向を通じて分割される、請求項１記載の方法。
3. 前記奥行きマップ・データ・パーティションを生成する段階が、前記奥行きマップ・セグメントの少なくとも二つを垂直方向に位置させることを含み、前記奥行きマップ・セグメントの前記少なくとも二つは前記スケーリングされた奥行きマップにおいては水平方向に位置されていたものである、請求項１または２記載の方法。
4. 前記奥行きマップ・データ・パーティションを生成する段階が、前記奥行きマップ・セグメントの少なくとも二つを水平方向に位置させることを含み、前記奥行きマップ・セグメントの前記少なくとも二つは前記スケーリングされた奥行きマップにおいては垂直方向に位置されていたものである、請求項１記載の方法。
5. 3D奥行きマップ・データをデコードする方法であって：
   符号化されたビットストリームをデコードして、画像データ・パーティションおよび奥行きマップ・データ・パーティションを生成する段階であって、前記奥行きマップ・データ・パーティションは、第一の空間的位置に位置されているシフトされた奥行きマップ・セグメントを有している、段階と；
   前記シフトされた奥行きマップ・セグメントを、前記第一の空間的位置から第二の空間的位置にシフトして、前記第一の空間的位置とは異なる第二の空間的位置における奥行きマップ・セグメントを生成する段階と；
   少なくとも、前記画像データ・パーティションおよび前記第二の空間的位置における前記奥行きマップ・セグメントに応答して、デコードされた出力信号を生成する段階とを含む、
   方法。
6. 前記エンコードする段階の前に、前記奥行きマップ・パーティションにおける少なくとも一つの奥行きマップ・セグメントを水平方向または垂直方向に反転させる段階をさらに含む、請求項５記載の方法。
7. 前記デコードされた出力信号を生成する前に、前記シフトされた奥行きマップ・セグメントを水平方向または垂直方向に反転させる段階をさらに含む、請求項６記載の方法。
8. プロセッサを有し、請求項１ないし７のうちいずれか一項記載の方法を実行するよう構成されている装置。
9. 請求項１ないし７のうちいずれか一項記載の方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。

Images