JP2021520101A

JP2021520101A - ボリュメトリックビデオフォーマット用の方法、装置及びストリーム

Info

Publication number: JP2021520101A
Application number: JP2020552727A
Authority: JP
Inventors: フリュールー，ジュリアン; シャポー，ベルトラン; タピ，ティエリー; チュードル，フランク
Original assignee: インターデジタルヴイシーホールディングス，インコーポレイテッド
Priority date: 2018-03-30
Filing date: 2019-03-27
Publication date: 2021-08-12
Also published as: US11647177B2; WO2019191205A1; EP3777222A1; CN112189345B; US20220094903A1; EP3547704A1; US20210112236A1; RU2020135597A; US11178383B2; CN112189345A

Abstract

３Ｄシーンを表すデータの符号化／復号化は、３Ｄシーンの一部が各第１のタイルに関連付けられた状態で、第１のトラック内に符号化されて第１のフレームの第１のタイルに配列されたテクスチャを表す第１のデータと、１個以上の第２のトラック内に符号化されて第１のタイルの個数よりも多い個数の第２のフレームの第２のタイルであって、各第１のタイル及び複数のパッチに割り当てられた第２のタイルが、各第１のタイルに関連付けられた３Ｄシーンの一部における３Ｄ点の集団の２Ｄパラメータ化に対応し且つ当該集団の３Ｄ点に関連付けられた奥行きを表す第２のデータを含む第２のタイルの組に配列された第２のタイルに配列された奥行きを表す第２のデータと、第１及び第２のデータの一部を抽出すべく第３のトラック内に符号化された命令を含んでいてよい。

Description

１．技術分野
本開示は、ボリュメトリックビデオコンテンツの領域に関する。本開示はまた、ボリュメトリックコンテンツを表すデータの符号化及び／又はフォーマット設定、例えばモバイル機器又はヘッドマウントディスプレイ等のエンドユーザー機器上でのレンダリングの関連で理解される。

２．背景
本節は、以下に記述及び／又は権利請求する本開示の各種態様に関連し得る当分野の各種態様を読者に紹介することを意図している。ここでの議論は、本発明の各種態様の理解をより容易にすべく読者に背景情報を提供するのに役立つと思われる。従って、以下の記述は従来技術の紹介としてではなく上記の観点から読まれたい。

近年、利用可能な広視野コンテンツ（最大３６０°）が成長している。このようなコンテンツは潜在的に、ヘッドマウントディスプレイ、スマート眼鏡、ＰＣ画面、タブレット、スマートフォン等の没入型ディスプレイ装置でコンテンツを見ているユーザーが全体を視認することができない。これは、ユーザーは所与の瞬間ではコンテンツの一部しか見ていないことを意味する。しかし、ユーザーは典型的に、頭部の移動、マウスの移動、タッチスクリーン、音声等の各種手段によりコンテンツ内をナビゲートすることができる。このようなコンテンツを符号化及び復号化することが典型的に望ましい。

３６０°フラットビデオとも呼ばれる没入型ビデオにより、ユーザーは静止視点周辺で頭部の回転により自身の周囲全体を見ることができる。回転では３度の自由度（３ＤｏＦ）しか体感できない。たとえ３ＤｏＦビデオが、例えばヘッドマウントディスプレイ装置（ＨＭＤ）を用いる第１の全方向ビデオ体感には充分であったとしても、例えば視差を体感することにより更なる自由度を期待する視聴者は３ＤｏＦビデオに対して直ちにフラストレーションを感じる場合がある。また、ユーザーは頭部を回転させるだけでなく必ず頭部を３方向に移動させるが、この移動は３ＤｏＦビデオ体感では再現されないため３ＤｏＦは眩暈を引き起こす恐れがある。

広視野コンテンツは特に、３次元コンピュータグラフィック仮想シーン（３ＤＣＧＩシーン）、点群又は没入型ビデオであってもよい。このような没入型ビデオの設計に多くの用語、例えば仮想現実（ＶＲ）、３６０、パノラマ、４πステラジアン、没入型、全方向又は広視野が用いられる場合がある。

ボリュメトリックビデオ（６度の自由度（６ＤｏＦ）としても知られる）は３ＤｏＦビデオの代替方式である。６ＤｏＦビデオを視聴する場合、ユーザーは頭部の回転に加え、視聴対象コンテンツ内で頭部及び体も移動させることができ、視差及び空間的広がりも体感できる。そのようなビデオは、没入感及びシーンの奥行きの知覚を非常に向上させると共に頭部が移動する間に一貫した視覚的フィードバックを提供することにより眩暈を防止する。コンテンツは、注目シーンの色及び奥行きの同時記録を可能にする専用センサにより作成される。写真測量技術と組み合わせたカラーカメラのリグの使用がそのような記録を実行する一般的な方法である。

３ＤｏＦビデオがテクスチャ画像（例：緯度／経度投影マッピング又は正距円筒投影マッピングにより符号化された球面ビュー）のマッピング解除から得られる画像のシーケンスを含むのに対し、６ＤｏＦビデオフレームにはいくつかの観点からの情報が埋め込まれている。これらは時系列の３次元撮像から得られる点群と見なすことができる。２種類のボリュメトリックビデオが視聴条件に依存すると考えてよい。第１のもの（すなわち完全な６ＤｏＦ）はビデオコンテンツ内で完全な自由なナビゲーションを可能にするのに対し、第２のもの（別名３ＤｏＦ＋）はユーザーの視聴空間を限られた範囲に限定して頭部の移動及び視差感を制約する。第２のものは、着席した視聴者の自由なナビゲーションと受動的な視聴条件との間の有益なトレードオフである。

３ＤｏＦビデオは、選択された投影マッピング（例：立方体投影マッピング、正四角錐投影マッピング又は正距円筒投影マッピング）に従い生成された矩形カラー画像のシーケンスとしてストリームに符号化されていてよい。当該符号化は、標準画像及びビデオ処理標準を利用する利点がある。３ＤｏＦ＋及び６ＤｏＦビデオは、点群の色付き点の奥行きを符号化するために追加的なデータを必要とする。ストリーム内のシーンを符号化する場合のボリュメトリックシーンのその種のレンダリング（すなわち３ＤｏＦ又はボリュメトリックレンダリング）は先験的に知られていない。これまで、ストリームはある種の、又は別のレンダリング用に符号化される。直ちに符号化されて３ＤｏＦビデオ又はボリュメトリックビデオ（３ＤｏＦ＋又は６ＤｏＦ）として復号化できるボリュメトリックシーンを表すデータを担持可能なストリーム、及び付随する方法並びに装置は存在しない。

更に、例えばエンドユーザー機器でのレンダリング用に担持されるデータの量は極めて重要であり、ネットワークの帯域幅に対するニーズが著しく増大している。

３．概要
本明細書における「ある実施形態」、「一実施形態」、「例示的な一実施形態」、「特定の実施形態」への言及は、記述する実施形態が特定の特性、構造、又は特徴を含んでいてよいことを示すが、全ての実施形態が必ずしも特定の特性、構造、又は特徴を含んでいる訳ではない。更に、このような語句は必ずしも同一実施形態を指す訳ではない。更に、特定の特性、構造、又は特徴が一実施形態との関連で記述されている場合、明示的に記述されているか否かに依らず、そのような特性、構造、又は特徴を他の実施形態と共に実現することは当業者の知識の範囲内であることを言明するものである。

本開示は、３Ｄシーンを表すデータを符号化する方法に関し、本方法は、
−第１の視点に従い視認可能な３Ｄシーンのテクスチャを表す第１のデータであって第１のフレームの複数の第１のタイルに配列された第１のデータを、３Ｄシーンの一部が複数の第１のタイルの各第１のタイルに関連付けられた状態で、少なくとも１個の第１のトラック内に符号化することと、
−３Ｄシーンの複数の点に関連付けられた奥行きを表す第２のデータであって第２のフレームの複数の第２のタイルに配列された第２のデータを、少なくとも１個の第２のトラック内に符号化する際に、第２のフレームの第２のタイルの総数が第１のフレームの第１のタイルの総数よりも多い状態で、且つ複数の第１のタイルの少なくとも一部の各第１のタイル毎に、
・複数の第２のタイルの少なくとも１個の第２のタイルを含む第２のタイルの組が、複数の第１のタイルの少なくとも一部の各第１のタイルに割り当てられ、
・少なくとも１個のパッチの組が第２のタイルの組に配列され、各パッチが、各第１のタイルに関連付けられた３Ｄシーンの一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、且つ当該集団の複数の３Ｄ点に関連付けられた奥行きを表す第２のデータを含むように符号化することと、
−少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックの少なくとも一部から第１のデータ及び第２のデータの少なくとも一部を抽出する旨の少なくとも１個の命令を、少なくとも１個の第３のトラック内に符号化することを含んでいる。

本開示は、３Ｄシーンを表すデータを符号化すべく構成された装置に関連し、本装置は、
−第１の視点に従い視認可能な３Ｄシーンのテクスチャを表す第１のデータであって第１のフレームの複数の第１のタイルに配列された第１のデータを、３Ｄシーンの一部が複数の第１のタイルの各第１のタイルに関連付けられた状態で、少なくとも１個の第１のトラック内に符号化し、
−３Ｄシーンの複数の点に関連付けられた奥行きを表す第２のデータであって第２のフレームの複数の第２のタイルに配列された第２のデータを、少なくとも１個の第２のトラック内に符号化する際に、第２のフレームの第２のタイルの総数が第１のフレームの第１のタイルの総数よりも多い状態で、且つ複数の第１のタイルの少なくとも一部の各第１のタイル毎に、
・複数の第２のタイルの少なくとも１個の第２のタイルを含む第２のタイルの組が、複数の第１のタイルの少なくとも一部の各第１のタイルに割り当てられ、
・少なくとも１個のパッチの組が第２のタイルの組に配列され、各パッチが、各第１のタイルに関連付けられた３Ｄシーンの一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、且つ当該集団の複数の３Ｄ点に関連付けられた奥行きを表す第２のデータを含むように符号化し、
−少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックの少なくとも一部から第１のデータ及び第２のデータの少なくとも一部を抽出する旨の少なくとも１個の命令を、少なくとも１個の第３のトラック内に符号化すべく構成された少なくとも１個のプロセッサに関連付けられたメモリを含んでいる。

本開示は、３Ｄシーンを表すデータを符号化すべく構成された装置に関し、本装置は、
−第１の視点に従い視認可能な３Ｄシーンのテクスチャを表す第１のデータであって第１のフレームの複数の第１のタイルに配列された第１のデータを、３Ｄシーンの一部が複数の第１のタイルの各第１のタイルに関連付けられた状態で、少なくとも１個の第１のトラック内に符号化すべく構成されたエンコーダと、
−３Ｄシーンの複数の点に関連付けられた奥行きを表す第２のデータであって第２のフレームの複数の第２のタイルに配列された第２のデータを、少なくとも１個の第２のトラック内に符号化すべく構成されたエンコーダにおいて、第２のフレームの第２のタイルの総数が第１のフレームの第１のタイルの総数よりも多い状態で、且つ複数の第１のタイルの少なくとも一部の各第１のタイル毎に、
・複数の第２のタイルの少なくとも１個の第２のタイルを含む第２のタイルの組が、複数の第１のタイルの少なくとも一部の各第１のタイルに割り当てられ、
・少なくとも１個のパッチの組が第２のタイルの組に配列され、各パッチが、各第１のタイルに関連付けられた３Ｄシーンの一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、且つ当該集団の複数の３Ｄ点に関連付けられた奥行きを表す第２のデータを含むエンコーダと、
−少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックの少なくとも一部から第１のデータ及び第２のデータの少なくとも一部を抽出する旨の少なくとも１個の命令を、少なくとも１個の第３のトラック内に符号化すべく構成されたエンコーダを含んでいる。

本開示は、３Ｄシーンを表すデータを符号化すべく構成された装置に関し、本装置は、
−第１の視点に従い視認可能な３Ｄシーンのテクスチャを表す第１のデータであって第１のフレームの複数の第１のタイルに配列された第１のデータを、３Ｄシーンの一部が複数の第１のタイルの各第１のタイルに関連付けられた状態で、少なくとも１個の第１のトラック内に符号化する手段と、
−３Ｄシーンの複数の点に関連付けられた奥行きを表す第２のデータであって第２のフレームの複数の第２のタイルに配列された第２のデータを、少なくとも１個の第２のトラック内に符号化する手段において、第２のフレームの第２のタイルの総数が第１のフレームの第１のタイルの総数よりも多い状態で、且つ複数の第１のタイルの少なくとも一部の各第１のタイル毎に、
・複数の第２のタイルの少なくとも１個の第２のタイルを含む第２のタイルの組が、複数の第１のタイルの少なくとも一部の各第１のタイルに割り当てられ、
・少なくとも１個のパッチの組が第２のタイルの組に配列され、各パッチが、各第１のタイルに関連付けられた３Ｄシーンの一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、且つ当該集団の複数の３Ｄ点に関連付けられた奥行きを表す第２のデータを含む手段と、
−少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックの少なくとも一部から第１のデータ及び第２のデータの少なくとも一部を抽出する旨の少なくとも１個の命令を、少なくとも１個の第３のトラック内に符号化する手段を含んでいる。

特定の特徴によれば、各パッチは更に、集団の複数の３Ｄ点に関連付けられたテクスチャを表す第３のデータを含み、第３のデータが少なくとも１個の第２のトラック内に符号化される。

特定の特徴によれば、少なくとも１個の第３のタイルを含む第３のフレームの第３のタイルの組が各第１のタイルに割り当てられ、集団の複数の３Ｄ点に関連付けられたテクスチャを表す第３のデータを含む少なくとも１個のパッチの組が第３のタイルの組に配列され、少なくとも１個のパッチが３Ｄ点の集団の２次元パラメータ化に対応し、第３のデータが少なくとも１個の第３のトラック内に符号化される。

別の特定の特徴によれば、当該組のあるパッチのサイズが、当該パッチが配列される第２のタイルのサイズよりも大きい場合、当該パッチは各々のサイズが第２のタイルのサイズよりも小さい複数の部分パッチに分割される。

更なる特定の特徴によれば、当該組の複数のパッチは、当該複数のパッチの視覚的重要度に応じて優先順位にて配列され、視覚的重要度は当該複数のパッチに関連付けられた第２のデータに依存する。

更なる特定の特徴によれば、第２のタイルは、複数の時間的に連続する第２のフレームに対して固定されたサイズと同じサイズを有する。

本開示は、３Ｄシーンを表すデータを復号化する方法に関し、本方法は、
−第１のデータ及び第２のデータを少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックから抽出する旨の少なくとも１個の命令を少なくとも１個の第３のトラックから復号化することと、
−第１のデータが第１の視点に従い視認可能な３Ｄシーンのテクスチャを表し、第１のデータが第１のフレームの第１の複数のタイルに配列され、３Ｄシーンの一部が複数の第１のタイルの各第１のタイルに関連付けられた状態で、少なくとも１個の第１のトラックから第１のデータを復号化することと、
−第２のデータが３Ｄシーンの複数の点に関連付けられた奥行きを表し、第２のデータが第２のフレームの第２のタイルの少なくとも１個の組に配列された少なくとも１個のパッチに含まれる奥行きを表し、第２のタイルの組が各第１のタイルに割り当てられ、少なくとも１個のパッチが各第１のタイルに関連付けられた３Ｄシーンの少なくとも一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、第２のデータが集団の複数の３Ｄ点に関連付けられた奥行きを表している状態で、少なくとも１個の第２のトラックから第２のデータを復号化することを含んでいる。

本開示は、３Ｄシーンを表すデータを復号化すべく構成された装置に関し、本装置は、
−第１のデータ及び第２のデータを少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックから抽出する旨の少なくとも１個の命令を少なくとも１個の第３のトラックから復号化し、
−第１のデータが第１の視点に従い視認可能な３Ｄシーンのテクスチャを表し、第１のデータが第１のフレームの第１の複数のタイルに配列され、３Ｄシーンの一部が複数の第１のタイルの各第１のタイルに関連付けられた状態で、少なくとも１個の第１のトラックから第１のデータを復号化し、
−第２のデータが３Ｄシーンの複数の点に関連付けられた奥行きを表し、第２のデータが第２のフレームの第２のタイルの少なくとも１個の組に配列された少なくとも１個のパッチに含まれる奥行きを表し、第２のタイルの組が各第１のタイルに割り当てられ、少なくとも１個のパッチが各第１のタイルに関連付けられた３Ｄシーンの少なくとも一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、第２のデータが集団の複数の３Ｄ点に関連付けられた奥行きを表している状態で、少なくとも１個の第２のトラックから第２のデータを復号化すべく構成された少なくとも１個のプロセッサに関連付けられたメモリを含んでいる。

本開示は、３Ｄシーンを表すデータを復号化すべく構成された装置に関し、本装置は、
−第１のデータ及び第２のデータを少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックから抽出する旨の少なくとも１個の命令を少なくとも１個の第３のトラックから復号化すべく構成されたデコーダと、
−第１のデータが第１の視点に従い視認可能な３Ｄシーンのテクスチャを表し、第１のデータが第１のフレームの第１の複数のタイルに配列され、３Ｄシーンの一部が複数の第１のタイルの各第１のタイルに関連付けられた状態で、少なくとも１個の第１のトラックから第１のデータを復号化すべく構成されたデコーダと、
−第２のデータが３Ｄシーンの複数の点に関連付けられた奥行きを表し、第２のデータが第２のフレームの第２のタイルの少なくとも１個の組に配列された少なくとも１個のパッチに含まれる奥行きを表し、第２のタイルの組が各第１のタイルに割り当てられ、少なくとも１個のパッチが各第１のタイルに関連付けられた３Ｄシーンの少なくとも一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、第２のデータが集団の複数の３Ｄ点に関連付けられた奥行きを表している状態で、少なくとも１個の第２のトラックから第２のデータを復号化すべく構成されたデコーダを含んでいる。

本開示は、３Ｄシーンを表すデータを復号化すべく構成された装置に関し、本装置は、
−第１のデータ及び第２のデータを少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックから抽出する旨の少なくとも１個の命令を少なくとも１個の第３のトラックから復号化する手段と、
−第１のデータが第１の視点に従い視認可能な３Ｄシーンのテクスチャを表し、第１のデータが第１のフレームの第１の複数のタイルに配列され、３Ｄシーンの一部が複数の第１のタイルの各第１のタイルに関連付けられた状態で、少なくとも１個の第１のトラックから第１のデータを復号化する手段と、
−第２のデータが３Ｄシーンの複数の点に関連付けられた奥行きを表し、第２のデータが第２のフレームの第２のタイルの少なくとも１個の組に配列された少なくとも１個のパッチに含まれる奥行きを表し、第２のタイルの組が各第１のタイルに割り当てられ、少なくとも１個のパッチが各第１のタイルに関連付けられた３Ｄシーンの少なくとも一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、第２のデータが集団の複数の３Ｄ点に関連付けられた奥行きを表している状態で、少なくとも１個の第２のトラックから第２のデータを復号化する手段を含んでいる。

特定の特徴によれば、各パッチに含まれる集団の複数の３Ｄ点に関連付けられたテクスチャを表す第３のデータは更に少なくとも１個の第２のトラックから復号化される。

特定の特徴によれば、テクスチャを表す第３のデータは更に少なくとも１個の第３のトラックから復号化され、第３のデータが第３のフレームの複数の第３のタイルに配列され、第３のタイルの組が各第１のタイルに割り当てられた少なくとも１個の第３のタイルを含み、集団の複数の３Ｄ点に関連付けられた第３のデータを含む少なくとも１個のパッチの組が第３のタイルの組に配列され、当該少なくとも１個のパッチが３Ｄ点の集団の２次元パラメータ化に対応している。

別の特徴によれば、３Ｄシーンの少なくとも一部が第１及び第２のデータに従いレンダリングされる。

本開示はまた、３Ｄシーンを表すデータを担持するビットストリームに関し、当該データは、少なくとも１個の第１の構文要素内に、第１の視点に従い視認可能な３Ｄシーンのテクスチャを表す第１のデータを含み、当該第１のデータは第１のフレームの複数の第１のタイルに関連付けられ、３Ｄシーンの一部は当該複数の第１のタイルの各第１のタイルに関連付けられていて、少なくとも１個の第２の構文要素内に、３Ｄシーンの複数の点に関連付けられた奥行きを表す第２のデータを含み、当該第２のデータは第２のフレームの複数の第２のタイルに関連付けられ、第２のフレームの第２のタイルの総数は第１のフレームの第１のタイルの総数よりも多く、第２のタイルの組は前記各第１のタイルに割り当てられた少なくとも１個の第２のタイルを含み、少なくとも１個のパッチの組が第２のタイルの組に配列され、各パッチは各第１のタイルに関連付けられた３Ｄシーンの一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、当該集団の複数の３Ｄ点に関連付けられた奥行きを表す第２のデータを含み、ビットストリームは更に、第１のデータ及び第２のデータの少なくとも一部を抽出する旨の少なくとも１個の命令を少なくとも１個の第３の構文要素内に担持している。

本開示はまた、コンピュータで当該プログラムが実行されたならば３Ｄシーンを表すデータを符号化又は復号化する方法のステップを実行するプログラムコード命令を含むコンピュータプログラム製品に関する。

本開示はまた、３Ｄシーンを表すデータを符号化又は復号化する少なくとも上述の方法をプロセッサに実行させる命令を保存している（非一時的）プロセッサ可読媒体に関する。

４．図面のリスト
添付の図面を参照しながら以下の記述を精査することにより本開示に対する理解が深まると共に他の特定の特徴及び利点が明らかになろう。

本原理の非限定的な一実施形態による、複数の被写体の表面表現を含む３次元シーンを表す画像を示す。本原理の非限定的な一実施形態による、図１のシーン上の視点の例示的な配列及び当該配列の異なる視点からの当該シーンの可視点を示す。本原理の非限定的な一実施形態による、図２の視点による図１のシーンの異なるビューを示すことにより視差感を示す。本原理の非限定的な一実施形態による、正距円筒投影マッピングによる図２の視点から視認可能な図１のシーンの点のテクスチャ画像を示す。本原理の非限定的な一実施形態による、立方体投影マッピングで表される図４のシーンと同じ点の画像を示す。本原理の非限定的な一実施形態による、図２の視点による図１の３Ｄシーンの奥行き画像（奥行きマップとも呼ばれる）を示す。本原理の非限定的な一実施形態による、図１の３Ｄシーンの被写体の３次元（３Ｄ）モデル及び当該３Ｄモデルに対応する点群の点を示す。本原理の非限定的な一実施形態による、複数のタイルに分割された図４の画像を示す。本原理の非限定的な一実施形態による、図４の画像の１個のタイルに関連付けられた図１の３Ｄシーンの一部の２Ｄパラメータ化を示す。本原理の非限定的な一実施形態による、図９に示すシーンの一部をある角度で切った扇形視野の２次元ビューを示す。本原理の非限定的な一実施形態による、図８のタイルに関連付けられたシーンの一部の２Ｄパラメータ化により得られた３Ｄシーンのパッチ集団の一例を示す。本原理の非限定的な一実施形態による、同時に３ＤｏＦレンダリング互換及び３ＤｏＦ＋レンダリング互換である形式での３Ｄシーンのシーケンスの符号化、送信、及び復号化の一例を示す。本原理の非限定的な一実施形態による、あるフレームの複数のタイル内での図１１のパッチの配列の一例を示す。本原理の非限定的な一実施形態による、図１１のパッチを図１３のタイリングされたフレームに配置する処理の一例を示す。本原理の非限定的な一実施形態による、図１３のタイリングされたフレームのタイルから取得された第４のフレームの一例を示す。本原理の非限定的な一実施形態による、情報を担持するビットストリームの構文及び図１の３Ｄシーンを表すデータの一例を示す。本原理の非限定的な一実施形態による、図１の３Ｄシーンを符号化する処理の一例を示す。本原理の非限定的な一実施形態による、図１の３Ｄシーンを復号化する処理の一例を示す。本原理の非限定的な一実施形態による、図１４、１７、１８、２０及び／又は２１との関連で記述する方法又は処理を実装すべく構成可能な装置の例示的なアーキテクチャを示す。本原理の非限定的な一実施形態による、例えば図１９の装置に実装された、図１の３Ｄシーンを表すデータを符号化する方法の一例を示す。本原理の非限定的な一実施形態による、例えば図１９の装置に実装された、図１の３Ｄシーンを表すデータを復号化する方法を示す。

５．実施形態の詳細な説明
主題について、同一要素に同一参照番号が付与された図面を参照しながら以下に記述する。以下の記述において、主題を完全に理解できるよう説明目的で多数の具体的な詳細事項開示している。しかし、これらの具体的な詳細事項が無くても主題の実施形態が実施できることは明らかである。

以下の記述で本開示の原理を説明する。従って本明細書に明示的に記述又は図示していなくても当業者には本開示の原理を実施する各種の構成に想到し得ることが理解されよう。

本開示の非限定的な実施形態による、ボリュメトリックビデオ（３ＤｏＦ＋又は６ＤｏＦビデオとも呼ばれる）の画像を、例えば１個以上のフレーム、コンテナ及び／又はビットストリームに符号化する方法及び装置を開示する。ストリーム及び／又はフレームからボリュメトリックビデオの画像を復号化する方法及び装置も開示する。ボリュメトリックビデオの１個以上の画像／フレームを符号化するビットストリームの構文の例も開示する。

非限定的な態様によれば、本原理について、３Ｄシーン（ボリュメトリックコンテンツで表され、没入型ビデオとも呼ばれる）を表すデータをコンテナ及び／又はビットストリームの１個以上のフレームに符号化する方法（及びそのように構成された装置）の第１の特定の実施形態に言及しながら記述する。

上述の目的を達成すべく、第１の視点に従い視認可能な３Ｄシーンのテクスチャを表す第１のデータ（例：３Ｄシーンの要素、例えば点に関連付けられた色情報）は、第１のフレームの第１のタイルの少なくとも一部に関連付けられた１個以上の第１のトラック内に符号化される。第１のデータは、シーンの３ＤｏＦビュー／画像のテクスチャ情報、すなわち３Ｄシーンの幾何学的（すなわち奥行き又は３Ｄ情報）すなわち「平坦な」ビュー／画像を含まずテクスチャだけを有する中心視点に従うシーンのビューに対応している。第１のフレームは、複数の第１のタイル（フレームの部分領域に対応し、例えばＨＥＶＣ標準（高効率ビデオ符号化）又は異なる略語（群）で表記されたグーグルのＶＰ９で画定されるタイル）に分割され、当該３Ｄシーンの一部は第１のフレームの各第１のタイルに関連付けられている。

第２のフレームは複数の第２のタイルに分割され、第２のタイルの総数は第１のフレームの第１のタイルの総数よりも多い。第１のタイルの少なくとも一部に対して、第２のタイルの組が各第１のタイルに割り当てられる。各第１のタイルに関して、各第１のタイルに対応する３Ｄシーンの一部のパッチが、割当られた第２のタイルに配列されている。１個のパッチは、当該シーンの３Ｄ部分の２次元の（２Ｄ）パラメータ化に対応し、３Ｄ部分に含まれる少なくともいくつかの点の奥行きを表す少なくとも第２のデータを含んでいる。

第２のデータは、第２のタイルに関連付けられた１個以上の第２のトラック内に符号化される。

（第１のトラックの少なくとも一部から）第１のデータの少なくとも一部及び（第２のトラックの少なくとも一部から）第２のデータの少なくとも一部を抽出すべく適合された命令が１個以上の第３のトラック内に符号化される。

３Ｄシーンの３Ｄ部分の２Ｄパラメータ化は、当該３Ｄ部分の（例えば当該３Ｄ部分に含まれる３Ｄシーンの点の）２Ｄ表現に対応している。２Ｄパラメータ化は、以下の記述でより詳細に説明するように各種の仕方で取得できる。

フレームは、（例：ビデオを形成する時間的に連続する静止画像シーケンスの）画像に対応し、且つピクセルの配列に対応し、属性（例：奥行き情報及び／又はテクスチャ情報）が当該フレームのピクセルに関連付けられている。

３Ｄシーンを表すデータを復号化する対応方法（及びそのために構成された装置）についても、本原理の非限定的な態様に関して述べた。

図１に、複数の被写体の表面表現を含む３次元（３Ｄ）シーン１０を表す画像を示す。当該シーンは任意の適当な技術を用いて取得されていてよい。例えば、コンピュータグラフィックインターフェース（ＣＧＩ）ツールを用いて作成されていてよい。色及び奥行き画像撮影機器により得られていてよい。そのような場合、撮影機器（例：カメラ）からは見えない被写体の１個以上の部分が、図２に関連して記述したシーンには表示されない可能性がある。図１に示す例示的なシーンは、住宅、二人の人物及び井戸を含んでいる。立方体１１は、ユーザーが３Ｄシーンを視認できそうな視野空間を示す。視野空間１１は、例えば第１の視点に中心を有している。３Ｄシーン（又はその一部）は、例えば、第１の視点に従い３Ｄシーンを表す平坦な画像（又は全方向画像／ビデオとも呼ばれるフラットビデオ）で表され、（例えばＨＭＤを着用した）ユーザーが３個の自由度（３Ｄｏｆ）に従い、すなわちロール、ヨー及びピッチ軸の回りの回転によりシーン内を探索することができる。３Ｄシーン（又は３Ｄシーンの更なる複数部分）は、テクスチャデータの第１の視点以外の立方体１１の視点から見た３Ｄシーンの部分に関連付けられた追加的なデータ（平坦な画像のテクスチャ／色データに追加して）により表されていてよい。追加的なデータは例えば、以下の情報、すなわち
−第１の視点から見た３Ｄシーンの複数の点に関連付けられた奥行き情報、
−第１の視点以外の立方体１１の視点から見た３Ｄシーンの複数部分に関連付けられた奥行き情報と、
−第１の視点以外の立方体１１の視点から見た３Ｄシーンの複数部分に関連付けられたテクスチャ情報（色情報とも呼ばれる）の１個又は任意の組み合わせを含んでいてよい。

フラットビデオと組み合わせた追加的なデータは、３Ｄシーンの表現の３ＤｏＦ＋及び／又は６ＤｏＦ視聴を可能にする。

図２に、シーン、例えば図１の３Ｄシーン１０における視点の例示的な配置を示す。図２はまた、当該配置の異なる視点から／に従い視認可能な当該３Ｄシーン１０の点を示している。没入型レンダリング装置（例：cave（没入環境）又はヘッドマウントディスプレイ装置（ＨＭＤ））によりレンダリング及び表示されるべく、第１視点（第１の視点とも呼ばれる）、例えば第１の視点２０からの３Ｄシーンを考える。シーンの点２１は第１の人物の右肘に対応しており、第１の視点２０とシーンの点２１の間に不透明な被写体が全く存在しないため、第１の視点２０から視認可能である。対照的に、例えば第２の人物の左肘に対応する３Ｄシーン１０の点２２は第１の人物の点により塞がれているため第１の視点２０から見えない。

３ＤｏＦレンダリングについて、１個の視点、例えば第１の視点２０だけを考える。ユーザーは、３Ｄシーンの様々な部分を見るために第１の視点周辺で３個の自由度で頭部を回転できるが、ユーザーは第１の視点を移動させることはできない。ストリームに符号化するシーンの点は、当該第１の視点から視認可能な点である。ユーザーは第１の視点を移動させても接近できないため、当該第１の視点から見えないシーンの点を符号化する必要が無い。

６ＤｏＦレンダリングに関して、ユーザーはシーンの全ての箇所に視点を移動させることができる。この場合、自身の視点を移動できるユーザーにより全ての点に潜在的にアクセスできるため、コンテンツビットストリーム内のシーンの全ての点を符号化することが重要である。符号化段階では、ユーザーがどの視点から３Ｄシーン１０を観察するかを先験的に知る手段は無い。

３ＤｏＦ＋レンダリングに関して、ユーザーは視点周辺の限られた空間内で、例えば第１の視点２０周辺で視点を移動させることができる。例えば、ユーザーは、第１の視点２０に中心を有する立方体１１内で自身の視点を移動させることができる。これにより、図３を参照しながら示すように視差を体感できるようになる。視野空間、例えば立方体１１内の任意の点から視認可能なシーンの一部を表すデータが、第１の視点２０に従い視認可能な３Ｄシーンを表すデータを含むストリームに符号化されることになる。視野空間のサイズと形状は例えば、符号化ステップで決定及び画定されてビットストリームに符号化される。デコーダは当該情報をビットストリームから得られ、レンダラは取得された情報により決定された空間に視野空間を限定する。別の例によれば、レンダラはハードウェア制約に応じて、例えばユーザーの動きを検出するセンサ（群）の能力に関して視野空間を決定する。このような場合、符号化フェーズにおいて、レンダラの視野空間内の一点から視認可能な一点がビットストリームに符号化されていない場合、当該点はレンダリングされない。更なる例によれば、３Ｄシーンの全ての点を表すデータ（例：テクスチャ及び／又はジオメトリ）は、レンダリング視野空間を考慮することなくストリームに符号化される。ストリームのサイズを最適化すべく、シーンの点の部分集合、例えばレンダリング視野空間に従い視認可能な点の部分集合だけを符号化してもよい。

図３に、ボリュメトリック（すなわち３ＤｏＦ＋及び６ＤｏＦ）レンダリングにより可能な視差感を示す。図３Ｂに、図２の第１の視点２０からユーザーが視認できるシーンの一部を示す。当該第１の視点２０から、所与の空間構成に例えば２人の人物が存在し、（白いシャツを着た）第２の人物の頭部は視認可能であるが、左肘は第１の人物の体により隠されている。ユーザーが自身の頭部を３個の自由度に従い第１の視点２０の回りに回転させてもこの構成は変化しない。視点が固定されている場合、第２の人物の左肘は視認できない。図３Ａに、図２の視野空間１１の左側に位置する視点から見たシーンの同一部分を示す。このような視点から、視差効果により図２の点２２は視認可能である。従って、ボリュメトリックレンダリングのために点２２をストリームに符号化すべきである。符号化されない場合、当該点２２はレンダリングされない。図３Ｃに、図３の視野空間１１の右側に位置する視点から見たシーンの同一部分を示す。当該視点から、第２の人物は第１の人物によりほぼ全身が隠されている。

３Ｄシーン内で視点を移動させることにより、ユーザーは視差効果を体感できる。

図４に、図２の第１の視点２０から視認可能な３Ｄシーン１０の点のテクスチャ情報（例：ＲＧＢデータ又はＹＵＶデータ）を含むテクスチャ画像４０（カラー画像とも呼ばれる）を示しており、当該テクスチャ情報は正距円筒投影マッピングにより取得できる。正距円筒投影マッピングは、球面投影マッピングの一例である。

図５に、立方体投影マッピングに従い取得又は符号化された３Ｄシーンの点の画像５０を示す。異なる立方体投影マッピングがある。例えば、立方体の面は図５の画像５０とは異なる仕方で配置されていても、及び／又は面は別の方向を向いていてもよい。

決定された視点から視認可能なシーンの点の取得／符号化に用いる投影マッピングは、例えば圧縮基準、又は例えば標準的な任意選択に従い選択される。ある投影マッピングに従う点群の投影により得られた画像を、例えば異なる投影マッピングに従う同一点群の等価画像に変換可能であることは当業者には公知である。にもかかわらずこのような変換は投影の解像度に若干の損失をもたらす場合がある。

図４及び５ではグレーの影付きで示している。これらがテクスチャ（色）画像（シーンの点のテクスチャ（色）を符号化する）の例えばＲＧＢ又はＹＵＶの例であることは自然に理解されよう。画像４０及び５０は各々３Ｄシーンの３ＤｏＦレンダリングに必要なデータを含んでいる。構文の第１の要素に、図４及び／又は図５の例示的画像４０及び／又は５０として１個の画像を含むビットストリーム又はデータストリームを受信しているデコーダは、画像の符号化に用いる方法と相関する方法を用いて画像を復号化する。ストリームは、標準的な画像及びビデオ圧縮方法及び画像及びビデオ担持の標準形式、例えばＭＰＥＧ−２、Ｈ．２６４又はＨＥＶＣに従い符号化することができる。デコーダは、復号化画像（又は画像のシーケンス）を３ＤｏＦレンダラ又は例えば再フォーマット設定モジュールに送信することができる。３ＤｏＦレンダラは最初に、投影面（例：図４のＥＲＰ画像４０の場合は球面、又は図５の画像５０の場合は立方体）から復号化画像の投影を解除し、次いで視聴エンドユーザー機器が要求する矩形ビューポートを生成する。一変型例において、レンダラは投影前に別の異なる投影マッピングに従い画像を変換する。

画像が３ＤｏＦレンダリングと互換性を有するのは、当該画像が投影マッピングに従い３Ｄシーンの点を符号化する場合である。当該シーンは３６０°の範囲に点を含んでいてよい。３ＤｏＦレンダリングと互換性を有する画像の符号化に一般的に用いる投影マッピングは、例えば球面マッピングのうち、正距円筒投影、経度／緯度投影、又は立方体投影マッピング若しくは正四角錐投影マッピングの異なる配置である。

図６に、第１の視点２０に従う３Ｄシーン１０の奥行き画像（奥行きマップとも呼ばれる）を示す。奥行き情報はボリュメトリックレンダリングに必要である。図６の画像の符号化例において、ピクセルが暗いほど視点から当該ピクセルに投影された点が近い。例えば、奥行きは１２ビットに符号化、すなわち奥行きを０〜２^１２−１（＝４０９５）の間の整数で表すことができる。例えば、決定された視点から１メートルに最も近い点が位置し、決定された視点から２５メートルに最も遠い点が位置する場合、奥行きの線形符号化は０．５８６センチメートル（＝（２５００−１００）／４０９６）のステップにより実行される。視点から遠い点の奥行き値の低精度は、視点に近い点の奥行き値の低精度よりも重大でないため、奥行きを対数尺度で符号化してもよい。図６に関する例示的実施形態において、視点から視認可能なシーンの点の奥行きは、図５のカラーマップを符号化に用いた投影マッピングと同じ投影マッピングに従い奥行きマップに符号化される。別の実施形態において、異なる投影マッピングにより奥行きを符号化してもよい。レンダラは、奥行きマップ及び／又はカラー画像を当該データに符号化されたシーンの点を投影解除すべく変換する。

図７に、被写体７０の３次元（３Ｄ）モデル及び３Ｄモデル７０に対応する点群７１の点を示す。モデル７０は３Ｄメッシュ表現であってよく、点群７１の点はメッシュの頂点であってよい。点群７１の点はまた、メッシュの表面上に分散した点であってよい。モデル７０はまた、点群７１を平滑化したバージョンとして表すことができ、モデル７０の表面は点群７１の点を平滑化することにより形成されている。モデル７０は、ボクセル又はスプライン等、多くの異なる表現で表すことができる。図７は、３Ｄ被写体の表面表現により点群を画定できること、及び３Ｄ被写体の表面表現を点群から生成できることを示している。本明細書で用いるように、３Ｄ被写体の点を（３Ｄシーンの拡張点により）画像に投影することは、当該３Ｄ被写体の任意の画像表現を投影して被写体を形成することと等価である。

点群は、各点が自身の座標（例：３次元座標ＸＹＺ、又は所与の視点からの奥行き／距離）及び成分とも呼ばれる１個以上の属性を有するベクトル型の構造と見なすことができる。成分の一例は、各種の色空間内で表され得る色成分、例えばＲＧＢ（赤、緑及び青）又はＹＵＶ（Ｙは輝度成分、ＵＶは二つの色度成分）である。点群は、所与の視点、又は視点の範囲から見た被写体の表現である。点群は多くの仕方、例えば
・カメラのリグから撮影され、任意選択的に奥行き能動検出装置により補足された実被写体の撮像から、
・モデリングツールの仮想カメラのリグにより撮影された仮想／合成被写体の撮像から、
・実及び仮想被写体の両方の混合から取得されてよい。

３Ｄシーンのボリュメトリック部分は例えば、点群７１のような１個又は複数の点群により表すことができる。

図８に、本原理の非限定的な一実施形態による、画像４０（以下で第１のフレーム４０とも呼ばれる）のタイリングを示す。第１のフレーム４０は、３Ｄシーンの広視野（最大３６０°）平坦表現、すなわち奥行き無しでテクスチャ（カラー）情報だけを含む２Ｄ表現に対応している。広視野コンテンツ（全方向コンテンツとも呼ばれる）は、典型的にエンドユーザー機器のビューポートよりも大きい視野を有する、すなわちエンドユーザー機器上の一度に第１のフレーム４０の小部分だけが表示されるコンテンツである。第１のフレーム４０は小部分又は部分領域８１〜８８に分割され、例えば（Alliance for Open Mediaにより開発された）ＨＥＶＣ、ＶＰ９又はＡＶ１の意味でのタイルに対応していてよい。これらのタイルは、例えば動きが制約されたＨＥＶＣタイリング（ＭＣＴＳ）を用いて取得できる。

非限定的な例によれば、（正距円筒（ＥＲＰ）投影が実行された後の）第１のフレームは８個のＨＥＶＣタイル８１〜８８に分割される。ＨＥＶＣタイルは、整数個のＣＴＵ（符号化ツリーユニット、ＣＴＵは例えばサイズが６４×６４の最大符号化ブロックに対応）を含み、固定又は可変サイズ（例：ＨＥＶＣのＭａｉｎ１０プロファイルレベル５．１はタイルの行と列の最大数を１１×１０に設定）の行と列からなる格子パターンに編成された重なり合わない矩形状領域に対応している。第１のフレームコンテンツは例えば、動きが制約されたタイル組（ＭＣＴＳ）を用いて、すなわち他のタイルから予測すること無く１個以上の解像度に符号化することができる。各々の符号化ＭＣＴＳシーケンスは、例えばＩＳＯＢＭＦＦ（ＩＳＯに基づくメディアファイル形式）コンテナ内で別々のタイルトラックにカプセル化されて保存することができる。ＨＥＶＣのＭａｉｎ１０プロファイルレベル５．１に基づくならば、タイルの個数は８に限定されず、任意の整数、例えば２以上且つ１１０未満（１１×１０）であってよい。

３Ｄシーンの異なる３Ｄ部分又は３Ｄ区画に第１のフレーム４０の各タイルＴ１８１、Ｔ２８２、Ｔ３８３、Ｔ４８４、Ｔ５８５、Ｔ６８６、Ｔ７８７及びＴ８８８が関連付けられていて（図１０に関してより詳細に説明するように）、３Ｄシーンの３Ｄ部分の投影の結果に対応する第１のフレームの決定されたタイルのビデオコンテンツが当該決定されたタイルに関連付けられている。

図９に、本原理の非限定的な一実施形態による、第１のフレームの１個のタイルＴ６８６に関連付けられた３Ｄシーンの３Ｄ部分の２Ｄパラメータ化を示す。同一処理が第１のフレーム４０のタイルＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ７及びＴ８に関連付けられた３Ｄシーンの各３Ｄ部分に適用できる。

タイルＴ６８６に関連付けられた３Ｄシーンの３Ｄ部分に含まれる３Ｄシーンの点は、複数個の点の１個以上の集団に集団化することができ、同一集団に属する点は例えば決定された奥行きの範囲に含まれる奥行き情報を有している（すなわち同一集団の点は奥行きが整合している）。視野空間（例：立方体）１１に含まれる視点の範囲は例えば複数の視点（例：５、１０又は２０個の視点）に離散化されている。別の例によれば、第１の視点２０に中心を有する四面体を画定することにより視野空間１１から複数の視点が得られ、四面体の４個の頂点の各々が第１の視点２０に加えて複数の視点のうち１個の視点を画定している。タイルＴ６８６に関連付けられた３Ｄシーンの３Ｄ部分の点は、複数の視点の各々から３Ｄ部分を考慮することにより集団化される。同一点が複数の集団に属するのを回避すべく、集団化は最初に第１の視点について行われてよく、第１の視点に従い集団化された点は別の視点に従う次の集団化では考慮されない。点の集団の例、例えば集団９１〜９５を図９に示し、各集団は奥行きが整合する点を含み、例えば集団９４は奥行きが２ｍ〜２．５ｍ（第１の視点からの距離）の点を含み、集団９５は奥行きが３．２ｍ〜３．９ｍの点を含み、集団９３は奥行きが３．９ｍ〜１０ｍの点を含んでいる。

点の各集団に対して１個のパッチが生成され、当該パッチは点の集団の２Ｄパラメータ化に対応している。例えば、パッチ９０４は点の集団９４から生成される。点の各集団を２次元で、すなわち２Ｄパラメータ化に従い表すべく、３Ｄ部分の点の各集団の１個以上のパッチが生成される。点の各集団９１、９２、９３、９４及び９５に対して１個以上の２Ｄパラメータ化を取得できる。２Ｄパラメータ化は点の集団毎に異なっていてよい。一変型例によれば、全ての点の集団に関連付けられた全ての２Ｄパラメータ化は同じ種類、例えば線形遠近投影又は正射投影である。一変型例によれば、同一の点の集団に対して異なる２Ｄパラメータ化を用いることができる。

所与の１個の点の集団、例えば集団９４に関連付けられた２Ｄパラメータ化は、所与の３Ｄ点の集団のサンプリングを可能にする点群の所与の３Ｄ点の集団の２次元での閲覧に対応し、すなわち適用したサンプリングステップに個数が依存する複数のサンプル（パッチ画像のピクセルに対応していてよい）を含む所与の３Ｄ点の集団のコンテンツ（すなわち点（群））の２Ｄ表現である。２Ｄパラメータ化は、パラメータの組により表すことができ、且つ各種の方法で、例えば以下の方法、すなわち
−視点に関連付けられた球面上への点群の点の集団に属する点の正距円筒投影（ＥＲＰ）であって、ＥＲＰ投影を表現するパラメータが球体の位置、方位及び空間サンプリングステップを含む投影、
−視点に関連付けられた平面への点群の点の集団に属する点の線形遠近投影であって、線形遠近投影を表現するパラメータが仮想カメラの位置、焦点距離、空間サンプリングステップ及び２次元視野を含む投影、
−表面への点群の点の集団に属する点の正射投影であって、正射投影を表現するパラメータが投影面のジオメトリ（形状、サイズ及び向き）及び空間サンプリングステップを含む投影、
−ここでは３Ｄから２Ｄへの転換／変換に適用される次元削減の個数値演算に対応するＬＬＥ（局所線形埋め込み）であって、ＬＬＥを表現するパラメータが変換係数を含む投影のうち任意の一つを実行することにより取得できる。

各パッチは有利な特徴として、以下に説明するパッキング処理を容易にすべく矩形状である。各パッチは、関連する点の集団に属する点の投影／２Ｄパラメータ化により得られたジオメトリ情報を含んでいてよい。ジオメトリ情報は、奥行き情報又はメッシュ要素の頂点位置に関する情報に対応していてよい。パッチは更に、当該パッチが第１の視点から視認可能な点から取得された場合を除き、関連する点の集団に属する点に関連付けられたテクスチャ情報を含んでいてよい。第１の視点から視認可能な点に対して、テクスチャ情報を第１のフレーム４０から取得することができる。一変型例によれば、ジオメトリ情報だけを含むジオメトリパッチが生成され、必要な場合にテクスチャ情報だけを含むテクスチャパッチが更に生成される。

各２Ｄパラメータ化を自身に関連付けられたパッチに紐付けるマッピング情報を生成することができる。マッピング情報は、２Ｄパラメータ化と、パッチが配列されたフレーム内の関連付けられたジオメトリパッチ及びテクスチャパッチとの間の接続を維持すべく生成されてよい。マッピング情報は例えば、
｛２Ｄパラメータ化のパラメータ、ジオメトリパッチＩＤ、テクスチャパッチＩＤ｝の形式であってよく、
ジオメトリパッチＩＤは１個の整数値であっても、又はジオメトリパッチが配列されたフレーム内で当該ジオメトリパッチが属する行番号Ｕ及び列番号Ｖを含む一対の値であってよく、テクスチャパッチＩＤは１個の整数値又はパッチが属するフレーム（群）の（又はフレーム（群）のタイルの）パッチのマトリクス内でテクスチャパッチが属する行番号Ｕ’ 及び列番号Ｖ’を含む一対の値であってよい。

各２Ｄパラメータ化に対して同一マッピング情報が生成されてジオメトリパッチ及びテクスチャパッチに関連付けられる。そのようなマッピング情報は、対応するジオメトリパッチ及びテクスチャパッチとの２Ｄパラメータ化の関連付けを確立することにより３Ｄシーンの対応部分を再構築可能にする。２Ｄパラメータ化が投影である場合、関連ジオメトリパッチに含まれるジオメトリ情報及び関連テクスチャパッチに含まれるテクスチャ情報を（逆投影を実行して）投影解除することにより３Ｄシーンの対応部分を再構築することができる。マッピング情報は従って以下のマッピング情報のリストに対応している。
｛２Ｄパラメータ化のパラメータ、ジオメトリ及びテクスチャパッチＩＤ｝_ｉ
ｉ＝１〜ｎ、ｎは２Ｄパラメータ化の個数。

図１０に、本原理の非限定的な一実施形態による、第１のフレーム４０のタイルＴ６８６に関連付けられた３Ｄシーンの３Ｄ部分に対応する、ある角度で切った扇形視野の２次元ビューを示す。

図８に関連して説明したように、第１のタイルＴ１８１〜Ｔ８８８は各々３Ｄシーンの３Ｄ部分に関連付けられている。第１のフレーム４０が正距円筒又は立方体マップ投影マッピングにより得られた場合、所与の第１のタイルＴ（図８の非限定的な例ではＴ∈［１，８］）に関連付けられた３Ｄ部分は、

で定義され得る第１の視点からの画角範囲１０１に対応している。３Ｄパッチの２Ｄパラメータ化によりパッチ９０４等のパッチを生成すべく３Ｄ部分から多数の３Ｄパッチを取得することができる。３Ｄパッチは３Ｄ部分の部分集合、すなわち図９に関して説明したように取得された点の集団に対応している。３Ｄパッチ１０２は例えば、決定された視点（第１の視点２０又は視野空間１１の離散化から得られる視点のいずれか）からの画角及び距離範囲で画定することができる。３Ｄパッチ１０２は例えば(［θ_１，θ_２］，［φ_１，φ_２］，［ρ_１，ρ_２］）で定義され、［θ_１，θ_２］，［φ_１，φ_２］は画角に対応する角度範囲に対応し、［ρ_１，ρ_２］は距離の範囲に対応している。３Ｄパッチ（又は点の集団）を画定する際に１個以上の制約を適用してよい。例えば、３Ｄパッチに関連付けられた球面範囲（［θ_１，θ_２］，［φ_１，φ_２］，［ρ_１，ρ_２］）は、同一の３Ｄパッチが第１のフレームの２個の異なる第１のタイルにわたり（又は等価的に２個の異なるタイルに関連付けられた２個の異なる画角範囲にわたり）展開するのを避けるべく、第１のフレーム内で画定された第１のタイルＴ６８６の画角範囲

に含まれるか又は適合しなければならない。奥行き情報及び／又はテクスチャ情報を含むパッチ９０４は、図９に関して説明したように、３Ｄパッチ１０２の点の２Ｄパラメータ化により取得できる。図９に関して説明したように、３Ｄパッチ１０２に関連付けられたジオメトリパッチ９０４を生成することができ、且つ３Ｄパッチ１０２に関連付けられたテクスチャジオメトリパッチを更に生成することができる。３Ｄパッチ１０２を第１の視点２０から見た／画定した場合、パッチ９０４はジオメトリ情報だけを含み、テクスチャ情報は第１のフレーム４０から取り出すことができる。

図１１に、本原理の非限定的な一実施形態による、第１のフレーム４０の第１のタイルに関連付けられたシーンの３Ｄ部分の３Ｄパッチの２Ｄパラメータ化により得られたパッチ集団の複数の例を示す。

図１１は、第１のフレーム４０の第１のいくつかのタイルに関連付けられたシーンの一部に含まれる点の集団の２Ｄパラメータ化により得られたパッチ集団のいくつかを示している。図１１は例えば、第１のフレーム４０の第１のタイルＴ１８１に関連付けられたパッチ集団Ｓ１、第１のフレーム４０の第１のタイルＴ３８３に関連付けられたパッチ集団Ｓ３、第１のフレーム４０の第１のタイルＴ５８５に関連付けられたパッチ集団Ｓ５、第１のフレーム４０の第１のタイルＴ６８６に関連付けられたパッチ集団Ｓ６及び第１のフレーム４０の第１のタイルＴ８８８に関連付けられたパッチ集団Ｓ８を示している。たとえ図示されていなくも、パッチ集団Ｓ２、Ｓ４及びＳ７は、第１のタイルＴ２８２、Ｔ４８４及びＴ７８７に各々関連付けられたシーンの３Ｄ部分のコンテンツから取得できる。

パッチ集団は、奥行き情報及びテクスチャ情報を含むパッチを含んでいてよい。一変型例によれば、パッチ集団は、奥行き情報だけ、又はテクスチャ情報だけを含むパッチを含んでいてよい。パッチ集団が奥行き情報（又はテクスチャ情報）だけを含むパッチを含む場合、テクスチャ情報（又は奥行き情報）だけを含むパッチを含む対応するパッチ集団を生成することができる。後者の変型例によれば、１個の集団（例：第１のタイルＴ１に関連付けられた集団Ｓ１）に含まれる奥行きパッチの個数は、対応する集団（例：集団Ｓ１と同じ第１のタイルＴ１に関連付けられた集団Ｓ１’（例示せず））に含まれるテクスチャパッチの個数とは異なる（例えばそれより多い）場合がある。

１個の集団に含まれるパッチの個数は集団毎に異なっていてよい。例えば、集団Ｓ１に含まれるパッチの個数は、集団Ｓ５及びＳ８に含まれるパッチの個数よりも多いが、集団Ｓ３及びＳ６に含まれるパッチの個数よりも少ない。１個の集団（例：集団Ｓ１）に含まれるパッチの個数は、前記集団に関連付けられた第１のタイル（例：第１のタイルＴ１）に関連付けられたシーンの３Ｄ部分のコンテンツに依存し得る。パッチの個数は例えば、パッチの集団（例：Ｓ１）に関連付けられた第１のタイル（例：第１のタイルＴ１）に対応するシーンの３Ｄ部分に含まれる点の奥行きが整合する集団の個数に依存し得る。

一変型例によれば、パッチの個数は各パッチ集団内のパッチの個数と同一である。パッチの個数はユーザーが決めた値であっても、又はパッチ及びパッチ集団を生成すべく構成された装置に保存された既定値であってもよい。

図１２に、３Ｄシーンを表すデータを、同時期に３ＤｏＦ及び３ＤｏＦ＋レンダリングと互換性を有する形式で符号化、送信及び復号化する非限定的な例を示す。

３Ｄシーン１２０（又は３Ｄシーンのシーケンス）がエンコーダ１２１によりストリーム１２２に符号化される。ストリーム１２２は、３ＤｏＦレンダリング用の３Ｄシーンを表すデータ（図８の第１の画像４０のデータ）を担持する構文の第１の要素及び３ＤｏＦ＋レンダリング用の３Ｄシーンを表すデータ（例：図１３の１個以上の第２の／第３の画像１３０のデータ及び／又は図１５の１個以上の第４の画像１５１、１５２のデータ）を担持する構文の少なくとも１個の第２の要素を含んでいる。

エンコーダ１２１は例えば以下のようなエンコーダに準拠している。
・ＨＥＶＣ（仕様はＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、http://www.itu.int/rec/T-REC-H.265-201612-I/enで見られる）、
・３Ｄ−ＨＥＶＣ（仕様がＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、h265, http://www.itu.int/rec/T-REC-H.265-201612-I/en annex G and Iに見られるＨＥＶＣの拡張）、
・Googleが開発したＶＰ９、又は
・Alliance for Open Mediaが開発したＡＶ１（AOMedia Video 1）。

デコーダ１２３がソースからストリーム１２２を取得する。例えば、ソースは、
−ローカルメモリ、例えばビデオメモリ又はＲＡＭ（又はランダムアクセスメモリ（Random Access Memory））、（フラッシュメモリ）、ＲＯＭ（又は読出し専用メモリ（Read Only Memory））、ハードディスク等、
−ストレージインターフェース、例えば大容量ストレージとのインターフェース、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポート、
−通信インターフェース、例えば有線インターフェース（例：バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース）又は無線インターフェース（ＩＥＥＥ８０２．１１インターフェース又はBluetooth（登録商標）インターフェース等）、
−ユーザーがデータを入力できるようにするグラフィカルユーザーインターフェース等のユーザーインターフェースを含む集合に属している。

デコーダ１２３は、３ＤｏＦレンダリング１２４用のストリーム１２２の構文の第１の要素を復号化する。３ＤｏＦ＋レンダリング１２５の場合、デコーダはストリーム１２２の構文の第１の要素及び構文の第２の要素の両方を復号化する。

デコーダ１２３は、エンコーダ１２１に準拠しており、例えば
・ＨＥＶＣ、
・３Ｄ−ＨＥＶＣ（ＨＥＶＣの拡張）、
・ＶＰ９、又は
・ＡＶ１
等のデコーダに準拠している。

図１３に、本原理の非限定的な一実施形態による、第２のフレーム１３０の第２のタイル１３０_１〜１３０_３２内で図１１のパッチ集団に含まれるパッチの配列の一例を示す。

第２のフレーム１３０は、複数の第２のタイル１３０_１〜１３０_３２、例えば図１３の非限定的な例の３２個の第２のタイルに分割されている。第２のタイルの個数は３２個に限定されず、第２のタイルの個数が第１の画像４０の第１のタイルの個数よりも多い限り任意の個数であってよい。第１のタイルに関して、各第２のタイル１３０_１〜１３０_３２のサイズ（例：高さ及び幅）は、第２のタイルが（１以上の）整数個数のＣＴＵ（例えばサイズが６４×６４の最大符号化ブロックに対応する符号化ツリーユニットであるＣＴＵ）を含み得るものであり、第２のタイル１３０_１〜１３０_３２は格子パターンに編成され、行及び列のサイズは固定又は可変（例：ＨＥＶＣのＭａｉｎ１０プロファイルレベル５．１はタイルの行及び列の最大数を１１×１０に設定）である。

第２のタイル１３０_１〜１３０_３２に第１のタイルＴ１〜Ｔ８が関連付けられ、１個以上の第２のタイルが各第１のタイルに割り当てられる。例えば、２個の第２のタイル（例：第２のタイル１３０_１〜１３０_２）が第１のタイルＴ１に割り当てられ、４個の第２のタイル（例：第２のタイル１３０_３〜１３０_６）が第１のタイルＴ２に割り当てられ、５個の第２のタイル（例：第２のタイル１３０_７〜１３０_１１）が第１のタイルＴ３に割り当てられ、５個の第２のタイル（例：第２のタイル１３０_１２〜１３０_１６）が第１のタイルＴ４に割り当てられ、３個の第２のタイル（例：第２のタイル１３０_１７〜１３０_１９）が第１のタイルＴ５に割り当てられ、５個の第２のタイル（例：第２のタイル１３０_２０〜１３０_２４）が第１のタイルＴ６に割り当てられ、５個の第２のタイル（例：第２のタイル１３０_２５〜１３０_２９）が第１のタイルＴ７に割り当てられ、３個の第２のタイル（例：第２のタイル１３０_３０〜１３０_３２）が第１のタイルＴ８に割り当てられていてよい。第２のタイルは、第１のタイルＴ１〜Ｔ８に関連付けられたシーンの３Ｄ部分を２Ｄパラメータ化することにより取得されたパッチを包含及び担持するために用いる。第１のタイルＴ１に関連付けられた３Ｄ部分を２Ｄパラメータ化することにより得られたパッチ集団Ｓ_１に含まれるパッチは第１のタイルＴ１に割り当てられた第２のタイル１３０_１〜１３０_２に配列され、集団Ｓ_２のパッチは第１のタイルＴ２に割り当てられた第２のタイル１３０_３〜１３０_６に配列され、集団Ｓ_３のパッチは第１のタイルＴ３に割り当てられた第２のタイル１３０_７〜１３０_１１に配列され、以降も同様である。

第２のタイルは例えば、第１のタイルを再分割することにより得られる。第１のタイルは例えば、２、４又は８個の第２のタイルに再分割することができる。

第１のタイルに割り当てられた第２のタイルの個数は例えば、第１のタイルに関連付けられたパッチ集団に含まれるパッチの個数に依存し得る。当該個数は更に、各第１のタイルが少なくとも１個の第２のタイルを割り当てられるように最大値に限定されていてよい。

第２の画像１３０は、奥行き及びテクスチャ情報を含むパッチを含んでいてよい。一変型例によれば、第２の画像１３０は奥行き情報だけを含むパッチを含んでいてよく、第３の画像は第１の視点から得られるパッチを除き、第１のタイルに関連付けられたテクスチャ情報を含むパッチを含むべく生成される。第３の画像は複数の第３のタイルを含み、第３のタイルの個数は第１のタイルの個数よりも多い。

フレームサイズ及びタイルの個数等のパラメータは第１と第２の画像で同一であってよい。一変型例によれば、第１と第２の画像で１個以上のパラメータが異なる。

図１４に、第２のフレーム１３０内（及び／又は第３のフレーム内）の第２のタイル内のパッチ集団Ｓ_１〜Ｓ_８のパッチを配列する処理の非限定的な例を示す。

第２のタイルに関する初期予定数は図１４の例によれば３２である。

本処理の入力は、ｉ個のパッチ

のＮ個の集団Ｓ_ｔのリストからなり（ｉ及びＮは整数であり、ｉは集団内のパッチの個数に対応し、図１４の例によればＮ＝８である）、

、ｔ∈［１，Ｎ］であって、各集団Ｓ_１〜Ｓ_８は第１のフレーム４０内の第１のタイルＴ１〜Ｔ８に対応している。

第１の動作において、各入力パッチ

のサイズが第２のタイルの幅又は高さを上回るか否かを調べる。例えば、第２のフレーム１３０のサイズが２０４８×１０２４ピクセルであり、且つ３２個の第２のタイルが同じサイズであることを考慮すれば、第２のタイルのサイズは２５６×２５６ピクセルである。あるパッチが目標とする第２のタイルのサイズに合わない場合、当該パッチは、各々が目標とする第２のタイルのサイズよりも小さいパッチに分割される。

第２の動作において、入力パッチ

は視覚的重要度の降順にソートされる。パッチの視覚的重要度は、視点との距離（遠いほど重要度が低い）、及び／又は主視線方向に対する角度位置（左端、右端、上端又は下端のパッチは中央のパッチよりも重要度が低い）、及び／又は排除（中心視点から排除されたパッチは重要度が低い）に依存し得る。視覚的重要度に従うソートは全ての入力パッチについて、すなわちパッチ集団Ｓ_１〜Ｓ_８を並列に又は逐次的に考慮するのではなく、全てのパッチ集団Ｓ_１〜Ｓ_８の全ての入力パッチを同時に処理することにより実行される。にもかかわらず、入力パッチのパッチ集団への所属に関する情報は以下の動作用に保持される。

例えばＮ個のパッキングアルゴリズムを、各パッチ集団Ｓ_１〜Ｓ_８に対して１個のパッキングアルゴリズムずつ並列に実行してもよい。例えばパッキングアルゴリズムとして、J. Jylanki”A thousand ways to pack the bin −A practical approach to two-dimensional rectangle bin packing”に記述されているShelf, Guillotine, Maximal Rectangles and Skyline法をその全ての変型例と共に用いてよい。

第３の動作において、最も視覚的に重要なものから始めて入力パッチを１個ずつ処理することができる。入力パッチが属するパッチ集団を決定して（例：入力パッチに関連付けられたメタデータから取得して）、入力パッチを各々が属するパッチ集団に対応するパッキング分岐（ｔ＝１〜８）に向ける。１個以上の第２のタイル１３０_１〜１３０_３２が各パッキング分岐に割り当てられる。

パッキング分岐のうち１個において現在到着しているパッチを収容する空間が現在の第２のタイルにもはや存在しない場合、新たに空の第２のタイルが生成されて次回のパッキングでパッキングが再開する。当該パッキング分岐の後続パッチに対して、先行パッキング回に生成された全ての第２のタイルが潜在的に目標とする第２のタイルとして残る。実際、新たに到着する入力パッチは先のものよりも小さく、先に生成された第２のタイル内に配列することができる。

全ての入力パッチが処理された、又は第２のタイル予定数が使い果たされて全ての第２のタイルが満杯になったならば処理は停止する。第２のフレーム１３０が小さ過ぎて全ての入力パッチをパッキングできない場合、未だパッキングされていない残りのパッチはパッキングされずに破棄される。入力パッチは視覚的重要度に従い処理されるため、破棄された入力パッチは視覚的重要度が最も低い入力パッチに対応し、第２のフレーム１３０のパッチから３Ｄシーンをレンダリングする際の問題を抑制する。

図１５に、第２のフレーム１３０の第２のタイルから（及び／又は第３のフレームの第３のタイルから）取得された２個の第４のフレーム１５１、１５２の非限定的な例を示す。

第４のフレーム１５１、１５２は各々、第２のフレーム１３０の第２のタイルの一部に含まれるパッチを含んでいる。第４のフレーム内の第２のタイルは第１のフレーム内の第１のタイルのいくつかの選択に対応しており、第１のタイルと第２のタイルの間にマッピングが存在する。レンダリング側では、コンテンツのレンダリングに用いるエンドユーザー機器のビューポートが第１のフレーム４０のコンテンツの視野より小さいことがあるため、第１のフレームの一部だけが必要な場合がある。エンドユーザー機器のレベルで決定可能な視線方向に従いフレーム４０の小部分だけが表示され、当該小部分に対応する第１のタイルだけが復号化及びレンダリングすればよい。

第４のフレーム１５１は例えば、（例えば解像度１２８０×１０２４ピクセルで）５列４行に配列された２０個の第４のタイルを含んでいる。第４のフレーム１５１は、第１のタイルＴ１、Ｔ２、Ｔ５及びＴ６に関連付けられた３Ｄシーンの３Ｄ部分を含むビューポートに対応するデータを含み、当該第１のタイルＴ１、Ｔ２、Ｔ５及びＴ６に関連付けられた３Ｄシーンの３Ｄ部分の３Ｄパラメータ化により得られたパッチ、すなわち第２のタイル１３０_１、１３０_２、１０３_３、１０３_４、１３０_５、１３０_６、１３０_１７、１３０_１８、１３０_１９、１３０_２０、１３０_２１、１３０_２２、１３０_２３及び１３０_２４に含まれるパッチを含んでいる。当該第４のフレームのタイルは第２のタイルに対応し、且つ対応する第２のタイルのコンテンツ（パッチ及びパッチに含まれるデータ）を含んでいてよく、第２のタイルは自身の添え字、すなわち１〜３２により識別される。当該第４のフレームの残りのタイル、すなわち斜めストライプで満たされたタイルは空であってデータを含まないか又はダミーデータを含んでいる。

第４のタイルは、図１３で第２のフレームの第２のタイルを生成することなく、第２のタイル又は２Ｄパラメータ化処理から直接取得できる。

第１、第２、第３及び第４のフレームは各々、時間が経過しても変化しないサイズ及び時間が経過しても変化しないタイル個数を有する。タイルのサイズ及び／又は個数は第１、第２、第３及び第４フレームで同じであっても、又は第１の、第２の、第３の及び／又は第４のフレームで異なっていてもよい。

第４のフレーム１５２は、第４のフレーム１５１と同様に５列４行に配列された２０個の第４のタイルを含んでいる。第４のフレーム１５２は、第１のタイルＴ２、Ｔ３、Ｔ６及びＴ７に関連付けられた３Ｄシーンの３Ｄ部分を含むビューポートに対応するデータを含み、当該第１のタイルＴ２、Ｔ３、Ｔ６及びＴ７に関連付けられた３Ｄシーンの３Ｄ部分の３Ｄパラメータ化により得られたパッチ、すなわち第２のタイル１０３_３、１０３_４、１３０_５、１３０_６、１０３_７、１０３_８、１３０_９、１３０_１０、１３０_１１、１３０_２０、１３０_２１、１３０_２２、１３０_２３、１３０_２４、１３０_２５、１３０_２６、１３０_２７、１３０_２８及び１３０_２９に含まれるパッチを含んでいる。第４のフレームに割り当てられた第２のタイルは、添え字３、４、５、６、７、８、９、１０、１１、２０、２１、２２、２３、２４、２５、２６、２７、２８及び２９により識別される。第４のフレームの残りのタイル、すなわち斜めストライプで満たされたタイルは空であってデータを含んでいないか又はダミーデータを含んでいる。

一般的には、シーンの全方向平坦画像／ビデオに対応する第１のフレーム４０の第１のタイルのＣ個の組み合わせがあり、Ｍ個の第１のタイルの各々の組み合わせが異なるビューポート方位（Ｍは例えば４に等しい整数）に対応している。Ｗ×Ｈ個の第１のタイルの完全な集合のうちＷ’×Ｈ’個の第１のタイルだけが（Ｗ’≦Ｗ，Ｈ’≦Ｈ、図８の例ではＷは４、Ｈは２に等しい）必要であり、抽出器トラックは、タイリングされたＨＥＶＣ（又はＶＰ９又はＡＶ１）に準拠するビットストリームへの集約を復号化の前に実行する。

同様の集約処理が、（Ｗ_ａ×Ｈ_ａ個の第２のタイルの完全な集合のうち）第１のタイルのＣ個の組み合わせの１個に対応するＴ個の第２のタイルの部分集合に対して実行される。第２のタイルは全てサイズが同じであり、

個のタイルの矩形フレーム（例：第４のフレーム１５１、１５２）へのタイリングされた集約が常に可能である

。以下の３通りの可能性がある。
（ｉ）

：集約のため完全デコーダ側タイリング格子（すなわち第４のフレーム）を用いる、
（ｉｉ）

：デコーダ側タイリング格子の一部だけを使用し、未使用タイル（斜めストライプで示す）をダミー値で満たす、
（ｉｉｉ）

：完全デコーダタイリング格子（すなわち第４のフレーム）を使用するが、いくつかの第２のタイルはドロップする；各パッチに（図１４に関して述べたパッキングアルゴリズムに従い）視覚的重要度値が割り当てられているため、タイル視覚的重要度はパックされたパッチの最大視覚的重要度として定義されて、視覚的重要度が最も低いタイルの優先順位が下げられる。

図１６に、パケット方式の送信プロトコルを介してデータを送信する際の３Ｄシーンを表す情報及びデータを担持するストリームの構文の一実施形態の非限定的な例を示す。図１６は、ボリュメトリックビデオストリームの例示的な構造１６を示す。本構造は、ストリームを構文の独立した要素に編成するコンテナである。本構造は、ストリームの全ての構文要素に共通のデータ組であるヘッダ部分１６１を含んでいてよい。例えば、ヘッダ部分は、構文要素に関する各々の性質及び役割を記述したメタデータを含んでいる。ヘッダ部分はまた、３ＤｏＦレンダリングの第１のフレームの符号化に用いる視点の座標及びフレームのサイズ及び解像度に関する情報を含んでいてよい。本構造は、構文１６２の第１の要素を含むペイロード及び構文１６３の少なくとも１個の第２の要素を含んでいる。第１の構文要素１６２は、例えば第１の構文要素に符号化された第１のフレームのテクスチャデータに関連付けられた第１のビデオトラックに対応する、３ＤｏＦレンダリングのために用意された第１のフレームを表すデータを含んでいる。

１個以上の第２の構文要素１６３は例えば、１個以上の第２のビデオトラックに関連付けられたジオメトリ情報及びテクスチャ情報を含んでいる。１個以上の第２の構文要素１６３は例えば、１個以上の第２のフレーム及び／又は図１３に関して述べた第３のフレームを表すデータを含んでいる。

一変型例によれば、１個以上の第２の構文要素１６３は、図１５に関して述べた１個以上の第４のフレームを表すデータを含んでいる。

更なる変型例によれば、ストリームは更に、構文の１個以上の第３の要素内の前記第１のデータ及び第２のデータの少なくとも一部を抽出する旨の少なくとも１個の命令を含んでいる。

説明目的のため、ＩＳＯＢＭＦＦファイル形式標準との関連で、テクスチャデータ及びジオメトリデータ自体はｍｄａｔ型の媒体データボックスに埋め込まれた状態で、テクスチャパッチ、ジオメトリパッチ及びメタデータは典型的に、ｍｏｏｖ型のボックス内のＩＳＯＢＭＦＦトラックで参照される。

図１７に、３Ｄシーンを符号化する処理の非限定的な例を示す。図１７の処理は、ボリュメトリックビデオのタイル方式符号化（例：タイル方式ＨＥＶＣ又はタイル方式ＡＶ１）及びファイルカプセル化に対応している。

複数の第１のフレーム４０のシーケンス１７１は、
・後方互換全方向ビデオを担持する複数のタイルトラック１７１０であって、Ｎ個の第１のタイルＴ１〜Ｔ８のうち１個の異なる第１のタイルに含まれるデータを各々含み（例：第１のタイルＴ１のコンテンツを担持する１個のタイルトラック、第１のタイルＴ２のコンテンツを担持する１個のタイルトラック、第１のタイルＴ３のコンテンツを担持する１個のタイルトラック、．．．及び第１のタイルＴ８のコンテンツを担持する１個のタイルトラック）、タイルトラックの個数は例えば２〜Ｎに含まれ、Ｎは第１のフレーム４０の第１のタイルの個数に対応しているタイルトラック１７１０と、
・第１のフレーム、スティッチング及び領域毎のパッキングを取得して全方向ビデオをレンダリングするのに用いた投影に対応するメタデータ１７１２と、
・Ｃ個の可能なビューポート方位の個数に対応する抽出器トラックの最大数までの１個以上の抽出器トラック１７１１であって、１個の抽出器が１個のデコーダにより復号化可能なビットストリームを再構築する命令を含み、再構築されたビットストリームはデコーダにより復号化されるべく構文的に正しい抽出器トラック１７１１を取得すべく符号化することができる。

符号化処理の出力側で取得された信号は例えば８個のタイルトラック１７１０（８は図８の例における第１のタイルの個数に対応）、４個の抽出器トラック１７１１（４はエンドユーザー機器側でのビューポート方位に従う第１のタイルの可能な組み合わせの個数に対応、すなわち第１の組み合わせは第１のタイルＴ１、Ｔ２、Ｔ５、Ｔ６を含み、第２の組み合わせは第１のタイルＴ２、Ｔ３、Ｔ６、Ｔ７を含み、第３の組み合わせは第１のタイルＴ３、Ｔ４、Ｔ７、Ｔ８を含み、第４の組み合わせは第１のタイルＴ４、Ｔ１、Ｔ８、Ｔ５を含む）、及びメタデータ１７１２を含んでいてよい。

一変型例によれば、信号は８個のタイルトラック１７１０の一部だけ、１個の抽出器トラック１７１１だけ、及びメタデータ１７１２を含んでいる。例えば、デコーダは、第１のタイルの組み合わせの一つ、例えば第１のタイルＴ２、Ｔ３、Ｔ６、Ｔ７を含む第２の組み合わせに対応する所与のビューポート方位を要求するリクエストを送信することができる。エンコーダはリクエストに応答して、タイルトラック２、３、６及び７が第１のタイルＴ２、Ｔ３、Ｔ６及びＴ７に関連付けられたデータを含む状態で、リクエストに対応する抽出器トラックだけを符号化して、要求されたビューポートを関連付けられたメタデータ１７１２によりレンダリングするためのビットストリームの再構築に必要とされる４個のタイルトラックを、要求を受けた抽出器に送信することができる。このような変型例により、データの担持に必要な符号化コスト及び帯域幅が削減可能になる。このようなビューポートに依存するコンテンツの配信は、ＤＡＳＨストリーミング機構（ＩＳＯ／ＩＥＣ２３００９−１、ＨＴＴＰを介した動的適応ストリーミング）に基づいて実行することができる。

シーケンス１７１の符号化により復号化後の全方向ビデオのレンダリングが可能になり、当該シーケンス１７１の符号化から得られたトラックは例えば、ＯＭＡＦ標準（ＩＳＯ／ＩＥＣ２３０９０−２情報技術−没入型媒体（ＭＰＥＧ−Ｉ）の符号化表現−パート２：全方向媒体形式）に準拠している。

第２のフレーム１３０のシーケンス１７２は、
・第２のタイル及び関連付けられたパッチを担持する複数のタイルトラック１７２０であって、Ｍ個の第２のタイル１３０_１〜１３０_３２のうち１個の異なる第２のタイルに含まれるデータを各々が含むタイルトラック１７２０と、
・例えばパッチの投影解除パラメータ、第２のフレームの第２のタイル内の位置（又は適用可能な場合、第３のフレームの第３のタイル内の位置）を表す情報を含むメタデータ１７２２と、
・Ｃ個の可能なビューポート方位の個数に対応する抽出器トラックの最大数までの１個以上の抽出器トラック１７２１であって、１個の抽出器が１個のデコーダにより復号化可能なビットストリームを再構築する１個以上の命令を含み、再構築されたビットストリームはデコーダにより復号化されるべく構文的に正しく、“Information Technology − Coding of audio-visual objects − Part 15: carriage of NAL unit structured video in the ISO Base Media File Format, AMENDMENT 1: Carriage of Layered HEVC”,ISO/IEC 14496-15:2014/PDAM 1, dated July 11, 2014に記述するように、ある抽出器が別のトラックから当該抽出器が常駐するトラックに紐付けられたデータを抽出する命令を含む抽出器トラック１７２１を取得すべく符号化することができる。

符号化処理の出力側で取得された信号は例えば３２個のタイルトラック１７２０（３２は図１３の例における第２のタイルの個数に対応）、４個の抽出器トラック１７２１（４はエンドユーザー機器側でのビューポート方位に従う第１のタイルの可能な組み合わせの個数に対応、すなわち第１の組み合わせは第１のタイルＴ１、Ｔ２、Ｔ５、Ｔ６に割り当てられた第２のタイルを含み、第２の組み合わせは第１のタイルＴ２、Ｔ３、Ｔ６、Ｔ７に割り当てられた第２のタイルを含み、第３の組み合わせは第１のタイルＴ３、Ｔ４、Ｔ７、Ｔ８に割り当てられた第２のタイルを含み、第４の組み合わせは第１のタイルＴ４、Ｔ１、Ｔ８、Ｔ５に割り当てられた第２のタイルを含む）、及びメタデータ１７２２を含んでいてよい。

一変型例によれば、信号は３２個のタイルトラック１７２０の一部だけ、１個の抽出器トラック１７２１だけ、及びメタデータ１７２２を含んでいる。例えば、デコーダは、第１のタイルの組み合わせの１個、例えば第１のタイルＴ２、Ｔ３、Ｔ６、Ｔ７に割り当てられた第２のタイルを含む第２の組み合わせに対応する所与のビューポート方位を要求するリクエストを送信することができる。エンコーダはリクエストに応答して、リクエストに対応する抽出器トラックだけを生成し、第１のタイルＴ２、Ｔ３、Ｔ６及びＴ７に割り当てられた第２のタイルに関連付けられたデータを含む第１のタイルＴ２、Ｔ３、Ｔ６及びＴ７に割り当てられた第２のタイルを含むタイルトラックを符号化して、要求されたビューポートを関連付けられたメタデータ１７２２によりレンダリングするためのビットストリームの再構築に必要とされる関連付けられたタイルトラックを、要求を受けた抽出器に送信することができる。このような変型例により、データの担持に必要な符号化コスト及び帯域幅が削減可能になる。このようなビューポートに依存するコンテンツの配信は、ＤＡＳＨストリーミング機構（ＩＳＯ／ＩＥＣ２３００９−１、ＨＴＴＰを介した動的適応ストリーミング）に基づいて実行することができる。

シーケンス１７１によりシーケンス１７２を符号化することでボリュメトリックビデオのレンダリングが可能になる。

シーケンス１７２がジオメトリ情報だけを含む第２の画像のシーケンスに対応する場合、テクスチャ情報を含む第３のフレームの更なるシーケンスをシーケンス１７２と同様に符号化することができる。

図１８に、図１７の符号化処理により得られたビットストリームを復号化する処理の非限定的な例を示す。

復号化処理は、二つの主処理、すなわち３ＤｏＦレンダリング用に全方向コンテンツ（テクスチャ情報だけ）を表すデータを復号化する第１の処理及び３ＤｏＦ＋レンダリング用にボリュメトリックコンテンツのレンダリングを可能にするデータを復号化する第２の処理を含んでいる。

第１の処理において、要求されたビューポート方位に関連付けられたタイルトラック１８１０（図１７の非限定的な例による第１のタイルＴ２、Ｔ３、Ｔ６及びＴ７に関連付けられたデータを含むトラック）が、抽出器トラックで受信された命令に従いパーサ１８１により構文解析される。パーサ１８１は、デコーダ１８３に準拠するビットストリーム１８１１（例：デコーダ１８３がＨＥＶＣ準拠ならばＨＥＶＣ準拠ビットストリーム、又はデコーダ１８３がＡＶ１準拠ならばＡＶ１準拠ビットストリーム）を再構築可能にする。ビットストリーム１８１１に含まれるデータはデコーダ１８３により復号化され、復号化されたデータは、図１７の符号化処理により得られたビットストリームに含まれるメタデータ１７１２を用いて全方向コンテンツをレンダリングすべく構成されたレンダラ１８５に送信される。

第２の処理において、要求されたビューポート方位に関連付けられたタイルトラック１８２０（図１７の非限定的な例による第１のタイルＴ２、Ｔ３、Ｔ６及びＴ７に関連付けられた第２のタイル（又はテクスチャデータの場合は第３のタイル）に含まれるパッチを含むトラック）は、抽出器トラックで受信された命令に従いパーサ１８２により構文解析される。パーサ１８２はデコーダ１８４に準拠するビットストリーム１８２１（例：デコーダ１８４がＨＥＶＣ準拠ならばＨＥＶＣ準拠ビットストリーム、又はデコーダ１８４がＡＶ１準拠ならばＡＶ１準拠ビットストリーム）を再構築可能にする。再構築されたビットストリームは、例えば図１５に関して述べた１個以上の第４のフレームのデータを含んでいる。ビットストリーム１８２１に含まれるデータはデコーダ１８４により復号化され、復号化されたデータは図１７の符号化処理により得られたビットストリームに含まれるメタデータ１７２２を用いてボリュメトリックコンテンツのボリュメトリック部分をレンダリングすべく構成されたレンダラ１８６に送信される。第２の処理は、奥行き情報を含むタイルトラック、及びテクスチャ情報を含むタイルトラックに対して実行することができる。

図１９に、図１７、１８、２０及び／又は２１に関して述べた方法を実行すべく構成可能な装置１９の例示的なアーキテクチャを示す。装置１９は、図１２のエンコーダ１２１又はデコーダ１２３として構成することができる。

装置１９は、データ及びアドレスバス１９１により互いに接続された以下の要素、すなわち
−マイクロプロセッサ１９２（又はＣＰＵ）、例えばＤＳＰ（又はデジタル信号プロセッサ）、
−ＲＯＭ（読み出し専用メモリ（Read Only Memory））１９３、
−ＲＡＭ（ランダムアクセスメモリ（Random-Access Memory））１９４、
−記憶インターフェース１９５、
−送信対象データをアプリケーションから受信するためのＩ／Ｏインターフェース１９６、
−電源、例：電池を含んでいる。

一例によれば、電源は装置の外部にある。列挙した各々のメモリにおいて、本明細書で用いる用語「レジスタ」は、小容量（数ビット）の領域又は極めて大領域（例：プログラム全体又は受信或いは復号化された大量のデータ）に対応していてよい。ＲＯＭ１９３は少なくとも１個のプログラム及び複数のパラメータを含んでいる。ＲＯＭ１９３は、本原理に従い技術を実行するアルゴリズム及び命令を保存することができる。ＣＰＵ１９２は電源投入時に、ＲＡＭにプログラムをアップロードして対応する命令を実行する。

ＲＡＭ１９４は、ＣＰＵ１９２により実行されて装置１９の電源投入後にアップロードされるプログラムをレジスタ内に、入力データをレジスタ内に、本方法の異なる状態にある中間データをレジスタ内に、及び本方法の実行に用いる他の変数をレジスタ内に含んでいる。

本明細書に記述する実装は、例えば、方法又は処理、装置、コンピュータプログラム製品、データストリーム、又は信号に実装することができる。たとえ単一形式の実装（例：方法又は装置としてのみ議論）との関連で議論したに過ぎなくても、議論する特徴の実装はまた他の形式（例：プログラム）で実装することができる。装置は、例えば適当なハードウェア、ソフトウェア、及びファームウェアに実装されていてよい。方法は例えば、一般に処理装置を指し、例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含む例えばプロセッサ等の装置に実装されていてよい。プロセッサはまた、通信機器、例えばコンピュータ、携帯電話、ポータブル／パーソナル携帯情報機器（「ＰＤＡ」）、及びエンドユーザー同士の情報通信を容易にする他の装置を含んでいる。

図１２の符号化又はエンコーダ１２１の例に従い、３次元シーンがソースから取られる。例えばソースは、
−ローカルメモリ（１９３又は１９４）、例えばビデオメモリ又はＲＡＭ（ランダムアクセスメモリ（Random−Access Memory））、フラッシュメモリ、ＲＯＭ（読み出し専用メモリ（Read Only Memory））、ハードディスク、
−記憶インターフェース（１９５）、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートとのインターフェース、
−通信インターフェース（１９６）、例えば有線インターフェース（例：バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース）又は無線インターフェース（ＩＥＥＥ８０２．１１インターフェース又はBluetooth（登録商標）インターフェース等）、
−ユーザーがデータを入力できるようにするグラフィカルユーザーインターフェース等のユーザーインターフェースを含む組に属している。

図１２の復号化又はデコーダ（群）１２３の例に従い、ストリームが宛先へ送られ、具体的には宛先は、
−ローカルメモリ（１９３又は１９４）、例えばビデオメモリ又はＲＡＭ、フラッシュメモリ、ハードディスク、
−記憶インターフェース（１９５）、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートとのインターフェース、
−通信インターフェース（１９６）、例えば有線インターフェース（例：バスインターフェース（例：ＵＳＢ（ユニバーサルシリアルバス））、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース、ＨＤＭＩ(登録商標）（高解像度マルチメディアインターフェース）インターフェース）又は無線インターフェース（ＩＥＥＥ８０２．１１インターフェース、WiFi（登録商標）又はBluetooth（登録商標）インターフェース等）を含む組に属している。

符号化又はエンコーダの例に従い、ボリュメトリックシーンを表すデータを含むビットストリームが宛先へ送られる。例えば、ビットストリームはローカル又はリモートメモリ、例えばビデオメモリ又はＲＡＭ、ハードディスクに保存されている。一変型例において、ビットストリームは、記憶インターフェース、例えば大容量記憶装置とのインターフェース、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートへ送られる、及び／又は通信インターフェース、例えばポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク又はブロードキャストネットワークへのインターフェースを介して送信される。

図１２の復号化又はデコーダ或いはレンダラ１２３の例に従い、ビットストリームがソースから得られる。例示的に、ビットストリームはローカルメモリ、例えばビデオメモリ、ＲＡＭ、ＲＯＭ、フラッシュメモリ又はハードディスクから読まれる。一変型例において、ビットストリームは記憶インターフェース、例えば大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク又は磁気サポートとのインターフェースから受信される、及び／又は通信インターフェース、例えばポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク又はブロードキャストネットワークへのインターフェースから受信される。

複数の例に従い、装置１９は図１７、１８、２０及び／又は２１に関して述べた方法を実行すべく構成され、
−モバイル機器、
−通信機器、
−ゲーム機器、
−タブレット（又はタブレットコンピュータ）、
−ラップトップ、
−スチル写真カメラ、
−ビデオカメラ、
−符号化チップ、
−サーバ（例：ブロードキャストサーバ、ビデオオンデマンドサーバ又はウェブサーバ）を含む組に属している。

図２０に、本原理の非限定的な一実施形態による、３Ｄシーン、例えば３Ｄシーン１０を表すデータを符号化する方法を示す。本方法は例えば、エンコーダ１２１及び／又は装置１９に実装することができる。装置１９の異なるパラメータを更新することができる。３Ｄシーンは例えばソースから取得でき、３Ｄシーンの空間内で１個以上の視点を決定することができ、投影マッピング（群）に関連付けられたパラメータを初期化することができる。

第１の動作２０１において、３Ｄシーンのテクスチャを表す第１のデータが、決定された形式、例えばＨＥＶＣ／Ｈ２６５：“ITU-T H.265 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (10/2014), SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services − Coding of moving video, High efficiency video coding, Recommendation ITU-T H.265”、又はＡＶＩに従い、コンテナ又はファイルの１個以上の第１のトラック内に符号化又はフォーマット設定される。コンテナは例えば、ＩＳＯＢＭＦＦ（ISO Base Media File Format, ISO/IEC 14496-12-MPEG-4 Part 12）ファイルに対応している。第１のデータは、単一の第１の視点に従い視認可能な３Ｄシーンの複数部分（例：点又はメッシュ要素）を指す。第１のデータは例えば、メタデータ及び第１のフレームのピクセルに符号化されたテクスチャ情報を含むビットストリームの第１の構文要素を指すシグナリング情報を含み、第１のフレームは複数のタイルに分割されている。３Ｄシーン１０の３Ｄ部分には第１のフレーム４０の各第１のタイルが関連付けられている。各第１のトラックは例えば、１個の異なる第１のタイルに関連付けられ、当該関連付けられた第１のタイルの第１のデータを含んでいる。第１のデータが復号化又は解釈されたならば、第１の視点による３Ｄシーンの３ＤｏＦ表現、すなわち視差のない表現が取得可能になる。

第２の動作２０２において、３Ｄシーンの複数の点に関連付けられた奥行きを表す第２のデータがコンテナ又はファイルの１個以上の第２のトラック内に符号化される。第２のデータは、図１５の第４のフレーム１５１、１５２に対応していてよい第２のフレームの第２のタイルに配列される。第２のタイルの異なる組が各第１のタイルに関連付けられ、第２のフレームに含まれる第２のタイルの個数は第１のフレームの第１のタイルの個数よりも多い。第２のデータ（第２のデータは例えばジオメトリ（奥行き）情報に対応）のパッチが第２のタイルに配列されて、例えばＨＥＶＣ又はＡＶ１形式に従い、対応する第２のトラック内に符号化される。各パッチは、３Ｄシーンの一部（すなわち点の集団）の２Ｄパラメータ化に対応している。所与の第１のタイルに関連付けられた３Ｄシーンの３Ｄ部分の２Ｄパラメータ化により得られたパッチが当該第１のタイルに割り当てられた第２のタイルに配列される。第２のデータが復号化又は解釈されたならば、第１の視点を含む複数のビューポートに従う３Ｄシーンの３ＤｏＦ＋表現（すなわち視差を有する表現）が取得可能になる。

一変型例によれば、第１の視点を考慮して得られたパッチ以外のパッチはジオメトリ情報に加えテクスチャ情報を含んでいる。換言すれば、第２のデータは、ジオメトリ及びテクスチャデータを含んでいる。

更なる一変型例によれば、パッチはジオメトリ情報だけを含んでいる。当該変型例によれば、１個以上の追加的な第２のフレームを取得でき、各々の追加的な第２のフレームは複数の第２のタイルに分割され、第２のタイルの個数は第１のタイルの総数よりも多い。１個以上の第２のタイルは各第１のタイルに関連付けられ、テクスチャデータのパッチは第２のタイルに配列され、第４のトラックと呼ばれる追加的なトラック内に符号化される。所与の第１のタイルに関連付けられた３Ｄシーンの３Ｄ部分の２Ｄパラメータ化により得られたパッチは当該第１のタイルに割り当てられた第２のタイルに配列される。

第３の動作２０４において、１個以上の命令がコンテナ又はファイルの１個以上の第３のトラック内に符号化される。命令は、第１及び第２のトラックから第１及び第２のデータを抽出して、抽出された第１及び第２のデータを、単一のデコーダにより復号化されるべくフォーマット設定されたビットストリームに配列すべく適合されている。第３のトラックは例えばＨＥＶＣに従う抽出器トラックに対応している。第２のデータは第２のフレーム（群）内に符号化される。第３のトラックの個数は例えば、図１７に関して述べたＣ個の可能なビューポート方位の個数に等しい。

更なる任意の一変型例によれば、第１、第２及び第３のトラックのデータと命令は、デコーダ又は当該デコーダを含むレンダラに送信されるビットストリームを形成する。

図２１に本原理の非限定的な一実施形態による、３Ｄシーン、例えば３Ｄシーン１０を表すデータを復号化する方法を示す。本方法は例えば、デコーダ１２３及び／又は装置１９に実装することができる。

第１の動作２１１において、１個以上の命令は、コンテナ又はファイルの１個以上の第３のトラックから復号化される。命令は、第１及び第２のデータを第１及び第２のトラックから抽出して、抽出された第１及び第２のデータを、単一のデコーダにより復号化されるべくフォーマット設定されたビットストリームに配列すべく適合されている。第３のトラックは例えば、ＨＥＶＣに従う抽出器トラックに対応している。

第２の動作２１２において、第１の視点に従い視認可能な３Ｄシーンの部分のテクスチャを表す第１のデータが、動作２１１で取得された命令に従い、１個以上の第１のトラックに含まれる第１のタイルから復号化又は解釈される。第１のデータは第１の視点に従う３Ｄシーンの３ＤｏＦ表現、すなわち視差のない表現を取得可能にする。

第３の動作２１３において、第１の視点を含む視点の組に従い視認可能な３Ｄシーンのジオメトリを表す第２のデータが、動作２１１で取得された命令に従い、１個以上の第２のトラックに含まれる第２のタイルから復号化又は解釈される。第２のデータは、３Ｄシーンの点の集団の２Ｄパラメータ化により得られたパッチに含まれる。一変型例によれば、第１の視点以外の前記視点の組に従い視認可能な３Ｄシーンのテクスチャを表す第３のデータが追加的なトラックの１個以上の第３のタイルから復号化又は解釈される。第２のデータは第３のデータと共に前記視点に従う３Ｄシーンの３ＤｏＦ＋表現、すなわち視差を有する表現を取得可能にする。

一変型例によれば、復号化された第１及び第２のデータは、デコーダにより復号化されるビットストリームを形成すべく動作２１１で取得された命令に従いビットストリームに配列される。別の変型例によれば、取得されたビットストリームは、レンダラによりレンダリングすべくデコーダにより復号化される。レンダリングされたコンテンツは、命令に対応するビューポート方位に従い、ＨＭＤ等の視聴エンドユーザー機器に表示することができる。

当然ながら、本開示は上述の実施形態に限定されない。

特に、本開示は、３Ｄシーンを表す符号化／復号化データ用の方法及び装置に限定されず、符号化されたデータを含むビットストリームを生成する方法、及び当該方法を実行する任意の装置、特に少なくとも１個のＣＰＵ及び／又は少なくとも１個のＧＰＵを含む任意の装置に拡張される。

本開示はまた、ビットストリームの復号化されたデータからレンダリングされた画像を表示する方法（及びそのために構成された装置）にも関する。

本開示はまた、ビットストリームを送信及び／又は受信する方法（及びそのために構成された装置）にも関する。

本明細書に記述する実装は例えば、方法又は処理、装置、コンピュータプログラム製品、データストリーム、又は信号に実装することができる。単一形式の実装だけに関して議論（例えば方法又は装置としてのみ議論）された場合であっても、議論された特徴の実装は他の形式（例：プログラム）で実装することができる。ある装置は例えば、適当なハードウェア、ソフトウェア、及びファームウェアに実装することができる。本方法は例えば、一般に処理装置を指す、例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含むプロセッサ等の装置で実行することができる。プロセッサはまた、通信機器、例えばスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／パーソナル携帯情報端末（「ＰＤＡ」）、及びエンドユーザー同士で情報の通信を可能にする他の装置を含んでいる。

明細書に記述する各種の処理及び特徴の実装は、様々の異なる機材又はアプリケーション、特に、例えばデータ符号化、データ復号化、ビュー生成、テクスチャ処理、画像及び関連テクスチャ情報及び／又は奥行き情報の他の処理に関連付けられた機材又はアプリケーションにおいて実施することができる。そのような機材の例として、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ、ビデオコーダー、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信機器が含まれる。明らかなように、当該機材はモバイル機器であって、移動する乗り物にも取り付け可能である。

また、本方法はプロセッサが実行する命令により実行されてよく、そのような命令（及び／又は実装により生成されたデータ値）はプロセッサ可読媒体、例えば集積回路、ソフトウェア担持波又は、例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、デジタル多用途ディスク又はデジタルビデオディスクと呼ばれることが多いＤＶＤ等）、ランダムアクセスメモリ（「ＲＡＭ」）、又は読出し専用メモリ（「ＲＯＭ」）等の他の記憶装置に保存することができる。命令は、プロセッサ可読媒体に明示的に実装されたアプリケーションプログラムの形式をなしていてよい。命令は例えば、ハードウェア、ファームウェア、ソフトウェア、又はこれらを組み合わせたものであってよい。命令は、例えばオペレーティングシステム、別個のアプリケーション、又はこれら二つの組み合わせに見られ得る。従って、プロセッサは例えば、処理を実行すべく構成された装置と、処理を実行する命令を有するプロセッサ可読媒体（記憶装置等）を含む装置の両方として特徴付けることができる。更に、プロセッサ可読媒体は、命令に加え、又は命令に代えて、ある実装により生成されたデータ値を保存することができる。

当業者には明らかになるように、複数の実装により、例えば保存又は送信可能な情報を担持すべくフォーマット設定される様々な信号を生成できる。情報は例えば、ある方法を実行する命令、又は記述された実装の一つにより生成されたデータを含んでいてよい。例えば、記述した実施形態の構文を読み書きする規則をデータとして担持すべく、又は記述する実施形態に書かれた実際の構文値をデータとして担持すべく信号がフォーマット設定されていてよい。そのような信号は例えば、電磁波（例：スペクトルの無線周波数部分を用いて）として、又はベースバンド信号としてフォーマット設定されていてよい。フォーマット設定は例えば、データストリームを符号化して、符号化されたデータストリームと共に担持波を変調することを含んでいてよい。信号が担持する情報は例えば、アナログ又はデジタル情報であってよい。信号は公知のように各種の異なる有線又は無線リンクを介して送信することができる。信号はプロセッサ可読媒体に保存することができる。

多くの実装について記述してきた。にもかかわらず、各種の変更を加え得ることが理解されよう。例えば、異なる実装の要素を組み合わせ、補完、変更、又は除外して他の実装を生成することができる。また、当業者には、他の構造及び処理を開示したもので代替してよく、結果的に得られる実装が、少なくとも実質的に同じ機能（群）を少なくとも実質的に同じ方式（群）で実行して、開示した実装と少なくとも実質的に同じ結果（群）が実現されることを理解されよう。従って、これら及び他の実装が本出願により考察される。

Claims

３Ｄシーン（１０）を表すデータを符号化する方法であって、
第１の視点（２０）に従い視認可能な前記３Ｄシーンのテクスチャを表す第１のデータであって第１のフレーム（４０）の複数の第１のタイル（８１〜８８）に配列された第１のデータを、前記３Ｄシーンの一部が前記複数の第１のタイルの各第１のタイルに関連付けられた状態で、少なくとも１個の第１のトラック内に符号化（２０１）することと、
前記３Ｄシーンの複数の点に関連付けられた奥行きを表す第２のデータであって第２のフレーム（１５１，１５２）の複数の第２のタイルに配列された第２のデータを、少なくとも１個の第２のトラック内に符号化する際に、前記第２のフレームの前記第２のタイルの総数が前記第１のフレームの前記第１のタイルの総数よりも多い状態で、且つ前記複数の第１のタイルの少なくとも一部の各第１のタイル毎に、
前記複数の第２のタイルの少なくとも１個の第２のタイルを含む第２のタイルの組が、前記複数の第１のタイルの少なくとも一部の各第１のタイルに割り当てられ、
少なくとも１個のパッチ（９０４）の組（Ｓ_１〜Ｓ_８）が前記第２のタイルの組に配列され、各パッチが、前記各第１のタイルに関連付けられた前記３Ｄシーンの一部に含まれる３Ｄ点の集団（９４）の２次元パラメータ化に対応し、且つ前記集団の複数の３Ｄ点に関連付けられた奥行きを表す第２のデータを含むように符号化することと、
前記少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックの少なくとも一部から前記第１のデータ及び第２のデータの少なくとも一部を抽出する旨の少なくとも１個の命令を、少なくとも１個の第３のトラック内に符号化することを含む方法。
３Ｄシーン（１０）を表すデータを符号化すべく構成された装置（１９）であって、
第１の視点（２０）に従い視認可能な３Ｄシーンのテクスチャを表す第１のデータであって第１のフレーム（４０）の複数の第１のタイル（８１〜８８）に配列された第１のデータを、前記３Ｄシーンの一部が前記複数の第１のタイルの各第１のタイルに関連付けられた状態で、少なくとも１個の第１のトラック内に符号化し、
前記３Ｄシーンの複数の点に関連付けられた奥行きを表す第２のデータであって第２のフレーム（１５１，１５２）の複数の第２のタイルに配列された第２のデータを、少なくとも１個の第２のトラック内に符号化する際に、前記第２のフレームの前記第２のタイルの総数が前記第１のフレームの前記第１のタイルの総数よりも多い状態で、且つ前記複数の第１のタイルの少なくとも一部の各第１のタイル毎に、
前記複数の第２のタイルの少なくとも１個の第２のタイルを含む第２のタイルの組が、前記複数の第１のタイルの少なくとも一部の各第１のタイルに割り当てられ、
少なくとも１個のパッチ（９０４）の組（Ｓ_１〜Ｓ_８）が前記第２のタイルの組に配列され、各パッチが、前記各第１のタイルに関連付けられた前記３Ｄシーンの一部に含まれる３Ｄ点の集団（９４）の２次元パラメータ化に対応し、且つ前記集団の複数の３Ｄ点に関連付けられた奥行きを表す第２のデータを含むように符号化し、
前記少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックの少なくとも一部から前記第１のデータ及び第２のデータの少なくとも一部を抽出する旨の少なくとも１個の命令を、少なくとも１個の第３のトラック内に符号化すべく構成された少なくとも１個のプロセッサ（１９２）に関連付けられたメモリ（１９４）を含む装置。
前記各パッチが更に、前記集団の複数の３Ｄ点に関連付けられたテクスチャを表す第３のデータを含み、前記第３のデータが前記少なくとも１個の第２のトラック内に符号化されている、請求項１に記載の方法又は請求項２に記載の装置。
少なくとも１個の第３のタイルを含む第３のフレームの第３のタイルの組が前記各第１のタイルに割り当てられ、前記集団の複数の３Ｄ点に関連付けられたテクスチャを表す第３のデータを含む少なくとも１個のパッチの組が前記第３のタイルの組に配列され、前記少なくとも１個のパッチが、前記３Ｄ点の集団の前記２次元パラメータ化に対応し、前記第３のデータが少なくとも１個の第３のトラック内に符号化されている、請求項１に記載の方法又は請求項２に記載の装置。
前記組のパッチのサイズが、前記パッチが配置される第２のタイルのサイズよりも大きい場合、前記パッチが前記第２のタイルのサイズよりも各々小さいサイズの複数の部分パッチに分割される、請求項１、３及び４のいずれか１項に記載の方法又は請求項２〜４のいずれか１項に記載の装置。
前記組のパッチが、前記パッチの視覚的重要度に依存する優先順位に応じて配列され、前記視覚的重要度が前記パッチに関連付けられた前記第２のデータに依存している、請求項１、３、４及び５のいずれか１項に記載の方法又は請求項２〜５のいずれか１項に記載の装置。
前記第２のタイルのサイズが、複数の時間的に連続する第２のフレームに対して固定されたサイズと同一である、請求項１及び３〜６のいずれか１項に記載の方法又は請求項２〜６のいずれか１項に記載の装置。
３Ｄシーン（１０）を表すデータを復号化する方法であって、
第１のデータ及び第２のデータを少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックから抽出する旨の少なくとも１個の命令を少なくとも１個の第３のトラックから復号化することと、
前記第１のデータが第１の視点（２０）に従い視認可能な前記３Ｄシーンのテクスチャを表し、前記第１のデータが第１のフレーム（４０）の第１の複数のタイル（８１〜８８）に配列され、前記３Ｄシーンの一部が前記複数の第１のタイルの各第１のタイルに関連付けられた状態で、前記少なくとも１個の第１のトラックから前記第１のデータを復号化することと、
前記第２のデータが前記３Ｄシーンの複数の点に関連付けられた奥行きを表し、前記第２のデータが第２のフレームの第２のタイルの少なくとも１個の組に配列された少なくとも１個のパッチに含まれる奥行きを表し、第２のタイルの組が前記各第１のタイルに割り当てられ、前記少なくとも１個のパッチが前記各第１のタイルに関連付けられた前記３Ｄシーンの前記少なくとも一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、前記第２のデータが前記集団の複数の３Ｄ点に関連付けられた奥行きを表している状態で、前記少なくとも１個の第２のトラックから前記第２のデータを復号化することを含む、方法。
３Ｄシーンを表すデータを復号化すべく構成された装置（１９）であって、
第１のデータ及び第２のデータを少なくとも１個の第１のトラック及び少なくとも１個の第２のトラックから抽出する旨の少なくとも１個の命令を少なくとも１個の第３のトラックから復号化し、
前記第１のデータが第１の視点（２０）に従い視認可能な前記３Ｄシーンのテクスチャを表し、前記第１のデータが第１のフレーム（４０）の第１の複数のタイル（８１〜８８）に配列され、前記３Ｄシーンの一部が複数の第１のタイルの各第１のタイルに関連付けられた状態で、前記少なくとも１個の第１のトラックから前記第１のデータを復号化し、
前記第２のデータが前記３Ｄシーンの複数の点に関連付けられた奥行きを表し、前記第２のデータが第２のフレームの第２のタイルの少なくとも１個の組に配列された少なくとも１個のパッチに含まれる奥行きを表し、第２のタイルの組が前記各第１のタイルに割り当てられ、前記少なくとも１個のパッチが前記各第１のタイルに関連付けられた前記３Ｄシーンの前記少なくとも一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、前記第２のデータが前記集団の複数の３Ｄ点に関連付けられた奥行きを表している状態で、前記少なくとも１個の第２のトラックから前記第２のデータを復号化すべく構成された少なくとも１個のプロセッサ（１９２）に関連付けられたメモリ（１９４）を含む装置。
前記各パッチに含まれる前記集団の複数の３Ｄ点に関連付けられたテクスチャを表す第３のデータが前記少なくとも１個の第２のトラックから更に復号化される、請求項８に記載の方法又は請求項９に記載の装置。
テクスチャを表す第３のデータが少なくとも１個の第３のトラックから更に復号化され、前記第３のデータが第３のフレームの複数の第３のタイルに配列され、第３のタイルの組が前記各第１のタイルに割り当てられた少なくとも１個の第３のタイルを含み、前記集団の複数の３Ｄ点に関連付けられた第３のデータを含む少なくとも１個のパッチの組が前記第３のタイルの組に配列され、前記少なくとも１個のパッチが前記３Ｄの集団の２次元パラメータ化に対応している、請求項８に記載の方法又は請求項９に記載の装置。
前記３Ｄシーンの少なくとも一部が前記第１及び第２のデータに従いレンダリングされる、請求項８、１０及び１１のいずれか１項に記載の方法又は請求項９〜１１のいずれか１項に記載の装置。
３Ｄシーンを表すデータを担持するビットストリームであって、前記データが、少なくとも１個の第１の構文要素内に、第１の視点に従い視認可能な３Ｄシーンのテクスチャを表す第１のデータを含み、前記第１のデータが第１のフレームの複数の第１のタイルに関連付けられ、前記３Ｄシーンの一部が前記複数の第１のタイルの各第１のタイルに関連付けられていて、少なくとも１個の第２の構文要素内に、前記３Ｄシーンの複数の点に関連付けられた奥行きを表す第２のデータを含み、前記第２のデータが第２のフレームの複数の第２のタイルに関連付けられ、前記第２のフレームの第２のタイルの総数が前記第１のフレームの第１のタイルの総数よりも多く、第２のタイルの組が前記各第１のタイルに割り当てられた少なくとも１個の第２のタイルを含み、少なくとも１個のパッチの組が前記第２のタイルの組に配列され、各パッチが前記各第１のタイルに関連付けられた前記３Ｄシーンの一部に含まれる３Ｄ点の集団の２次元パラメータ化に対応し、前記集団の複数の３Ｄ点に関連付けられた奥行きを表す第２のデータを含み、前記ビットストリームが更に、前記第１のデータ及び第２のデータの少なくとも一部を抽出する旨の少なくとも１個の命令を少なくとも１個の第３の構文要素内に担持しているビットストリーム。
少なくとも請求項１及び３〜７のいずれか１項に記載の方法のステップをプロセッサに実行させる旨の命令を保存している非一時的プロセッサ可読媒体。
少なくとも請求項８及び１０〜１２のいずれか１項に記載の方法のステップをプロセッサに実行させる旨の命令を保存している非一時的プロセッサ可読媒体。