JP2021502033A - ボリュメトリックビデオを符号化／復号する方法、装置、およびストリーム - Google Patents

ボリュメトリックビデオを符号化／復号する方法、装置、およびストリーム Download PDF

Info

Publication number
JP2021502033A
JP2021502033A JP2020524625A JP2020524625A JP2021502033A JP 2021502033 A JP2021502033 A JP 2021502033A JP 2020524625 A JP2020524625 A JP 2020524625A JP 2020524625 A JP2020524625 A JP 2020524625A JP 2021502033 A JP2021502033 A JP 2021502033A
Authority
JP
Japan
Prior art keywords
representation
information
parameterization
map
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2020524625A
Other languages
English (en)
Other versions
JP2021502033A5 (ja
Inventor
シャポー，ベルトラン
ギャルピン，フランク
フリュールー，ジュリアン
Original Assignee
インターデジタル ヴイシー ホールディングス， インコーポレイテッド
インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス， インコーポレイテッド, インターデジタル ヴイシー ホールディングス， インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Publication of JP2021502033A publication Critical patent/JP2021502033A/ja
Publication of JP2021502033A5 publication Critical patent/JP2021502033A5/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

３Ｄ表現を表すデータを視点範囲に従って符号化／復号することは、３Ｄ表現の部分に関連付けられる深度マップを、部分に関連付けられる少なくとも１つの２Ｄパラメータ化を表すパラメータ、および部分の１つの点に関連付けられるデータに従って生成することと、パラメータおよびデータに従って、部分に関連付けられるテクスチャマップを生成することと、を含むことができ、深度マップおよび／またはテクスチャマップ内の量子化パラメータの変化を表す情報は、３Ｄ表現の注目領域に従って取得することができる。【選択図】図１３

Description

１．技術分野
本開示は、ボリュメトリック（ｖｏｌｕｍｅｔｒｉｃ）ビデオコンテンツの領域に関する。本開示はまた、ボリュメトリックコンテンツを表すデータを符号化および／またはフォーマットする状況、例えばモバイルデバイスまたはヘッドマウントディスプレイのようなエンドユーザデバイスでレンダリングを行う状況におけるものであることを理解されたい。
２．背景技術
この節では、読者に技術分野の様々な態様を紹介することが意図されており、これらの態様は、以下に説明および／または特許請求する本開示の様々な態様に関連することができる。本考察は、読者に背景情報を提供して本発明の様々な態様をより良好に理解するのを容易にするのに役立つと考えられる。したがって、これらの記述は、この観点から読み取られるべきであり、先行技術を容認したものとして読み取られるべきではないということが理解されるべきである。
近年、利用可能な広視野コンテンツ（最大３６０°）が増えてきている。このようなコンテンツは、ユーザがコンテンツを、ヘッドマウントディスプレイ、スマートグラス、ＰＣスクリーン、タブレット、スマートフォンなどのような没入型表示デバイスで見ることにより全部を目で見るということができない可能性がある。これは、所定の瞬間に、ユーザがコンテンツの部分のみをビューしている可能性があることを意味している。しかしながら、ユーザは通常、頭部の移動、マウスの移動、タッチスクリーン、音声などのような様々な手段によりコンテンツ内を誘導され得る。通常、このコンテンツを符号化および復号することが望ましい。
３６０°フラットビデオとも呼ばれる没入型ビデオによりユーザは、ユーザ自身の周りのあらゆるものを、ユーザの頭部を注視点の周りに回転させることにより見ることを可能にする。回転により、３自由度（３ＤｏＦ）の体験のみが可能になる。３ＤｏＦビデオが、最初の全方向ビデオ体験のために、例えばヘッドマウントディスプレイデバイス（ＨＭＤ）を使用して十分である場合でも、３ＤｏＦビデオは、例えば視差を体験することにより、より多くの自由度を期待するビューアをすぐにイライラさせてしまう可能性がある。さらに、３ＤｏＦはまた、ユーザがユーザの頭部を回転させるだけでなく、ユーザの頭部を３つの方向に並進移動させ、並進移動が３ＤｏＦビデオ体験では再現されることがないので、めまいを引き起こす可能性もある。
広視野コンテンツは、とりわけ、３次元コンピュータグラフィックイメージシーン（３Ｄ ＣＧＩシーン）、ポイントクラウド、または没入型ビデオとすることができる。多くの条件を使用して、このような没入型ビデオ：例えば、仮想現実（ＶＲ）ビデオ、３６０ビデオ、パノラマビデオ、４π立体視ビデオ、没入型ビデオ、全方向性ビデオ、または広視野ビデオを設計することができる。
ボリュメトリックビデオ（６自由度（６ＤｏＦ）ビデオとしても知られている）は、３ＤｏＦビデオの代替である。６ＤｏＦビデオを見る場合、回転の他に、ユーザは、ユーザの頭部を、およびユーザの身体さえも、見つめているコンテンツ内で並進移動させることもでき、視差を体験し、ボリュームさえも体験することもできる。このようなビデオは、没入感およびシーンの奥行き感をかなり深めることができ、着実な視覚的フィードバックを頭部の並進移動中に与えることによりめまいを防止することもできる。コンテンツを専用センサにより作成して、注目シーンのカラーおよび奥行きを同時に記録することが可能になる。写真測量技術と組み合わせたカラーカメラのリグの使用は、このような記録を実行する一般的な方法である。
３ＤｏＦビデオは、テクスチャ画像（例えば、緯度／経度投影マッピングまたは正距円筒投影マッピングに従って符号化される球面画像）のマッピング解除から得られる画像列を含むが、６ＤｏＦビデオフレームには、幾つかの視点からの情報が埋め込まれる。これらのビデオフレームは、３次元撮影から得られる一時的な一連のポイントクラウドであると考えられる。２種類のボリュメトリックビデオは、ビューイング状態に依存すると考えられ得る。第１の種類（すなわち、全６ＤｏＦ）が、ビデオコンテンツ内の完全に自由な誘導を可能にするのに対し、第２の種類（別名、３ＤｏＦ＋）は、ユーザビューイング空間を限定されたボリュームに制限して、頭部の限定された並進移動、および視差体験を可能にする。この第２の状況は、着座視聴者の自由誘導状態と受動ビューイング状態間の貴重なトレードオフである。
没入状況におけるユーザ体験を向上させるが、レンダラーに転送されるデータの量は非常に重要であり、問題となり得る。
３．発明の概要
本明細書における「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ（１つの実施形態）」、「ａｎ ｅｍｂｏｄｉｍｅｎｔ（所定の実施形態）」、「ａｎ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔ（例示的な実施形態）」、「ａ ｐａｒｔｉｃｕｌａｒ ｅｍｂｏｄｉｍｅｎｔ（具体的実施形態）」への言及は、説明される実施形態が、具体的特徴、構造、または特性を含むことができるが、全ての実施形態が、特定の特徴、構造、または特性を必ずしも含む必要がある訳ではないことを示している。さらに、そのような語句は、同じ実施形態を必ずしも指している訳ではない。さらに、具体的特徴、構造、または特性が所定の実施形態に関連して説明される場合、明示的に説明されているかどうかに関係なく、このような特徴、構造、または特性に他の実施形態に関連して影響を与えることは、当業者の知識の範囲内であると考えられる。
本開示は、シーンの３Ｄ表現を表すデータをビットストリームに符号化する方法に関し、３Ｄ表現は、視点範囲に従っており、方法は、
−３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つの深度マップを、少なくとも１つの部分に関連付けられる少なくとも１つの２次元パラメータ化、および少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータに従って生成することであって、少なくとも１つの２次元パラメータ化は、少なくとも１つの点に関連付けられる幾何学的情報、および視点範囲に関連付けられる姿勢情報に応じて行われることと、
−少なくとも１つの部分に関連付けられる少なくとも１つのテクスチャマップを、少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられる少なくとも１つのパラメータおよびデータに従って生成することと、
−３Ｄ表現の注目領域に従った少なくとも１つの深度マップおよび／または少なくとも１つのテクスチャマップ内の量子化パラメータの変化を表す第１情報を取得することと、
−少なくとも１つの深度マップをビットストリームの第１シンタックス要素に符号化し、少なくとも１つのテクスチャマップをビットストリームの第２シンタックス要素に符号化し、少なくとも１つのパラメータをビットストリームの第３シンタックス要素に符号化し、第１情報をビットストリームの第４シンタックス要素に符号化し、少なくとも１つの２次元パラメータ化と対応する少なくとも１つの深度マップおよび少なくとも１つのテクスチャマップとの間のマッピングを表す第２情報をビットストリームの第５シンタックス要素に符号化することと、を含む。
本開示はまた、シーンの３Ｄ表現を表すデータをビットストリームに符号化するように構成されたデバイスに関するものであり、３Ｄ表現は、視点範囲に従っており、デバイスは、少なくとも１つのプロセッサに関連付けられるメモリを含み、少なくとも１つのプロセッサは、
−３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つの深度マップを、少なくとも１つの部分に関連付けられる少なくとも１つの２次元パラメータ化を表す少なくとも１つのパラメータ、および少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータに従って生成し、少なくとも１つの２次元パラメータ化は、少なくとも１つの点に関連付けられる幾何学的情報、および視点範囲に関連付けられる姿勢情報に応じて行われ、
−少なくとも１つの部分に関連付けられる少なくとも１つのテクスチャマップを、少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられる少なくとも１つのパラメータおよびデータに従って生成し、
−３Ｄ表現の注目領域に従った少なくとも１つの深度マップおよび／または少なくとも１つのテクスチャマップ内の量子化パラメータの変化を表す第１情報を取得し、
−少なくとも１つの深度マップをビットストリームの第１シンタックス要素に符号化し、少なくとも１つのテクスチャマップをビットストリームの第２シンタックス要素に符号化し、少なくとも１つのパラメータをビットストリームの第３シンタックス要素に符号化し、第１情報をビットストリームの第４シンタックス要素に符号化し、少なくとも１つの２次元パラメータ化と対応する少なくとも１つの深度マップおよび少なくとも１つのテクスチャマップとの間のマッピングを表す第２情報をビットストリームの第５シンタックス要素に符号化するように構成される。
本開示は、シーンの３Ｄ表現を表すデータをビットストリームに符号化するように構成されたデバイスに関するものであり、この３Ｄ表現は、視点範囲に従っており、デバイスは、
−３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つの深度マップを、少なくとも１つの部分に関連付けられる少なくとも１つの２次元パラメータ化を表す少なくとも１つのパラメータ、および少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータに従って生成し、少なくとも１つの２次元パラメータ化は、少なくとも１つの点に関連付けられる幾何学的情報、および視点範囲に関連付けられる姿勢情報に応じて行われるように構成された生成装置と、
−少なくとも１つの部分に関連付けられる少なくとも１つのテクスチャマップを、少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられる少なくとも１つのパラメータおよびデータに従って生成するように構成された生成装置と、
−３Ｄ表現の注目領域に従った少なくとも１つの深度マップおよび／または少なくとも１つのテクスチャマップ内の量子化パラメータの変化を表す第１情報を取得するように構成されたインターフェースと、
−少なくとも１つの深度マップをビットストリームの第１シンタックス要素に符号化し、少なくとも１つのテクスチャマップをビットストリームの第２シンタックス要素に符号化し、少なくとも１つのパラメータをビットストリームの第３シンタックス要素に符号化し、第１情報をビットストリームの第４シンタックス要素に符号化し、少なくとも１つの２次元パラメータ化と対応する少なくとも１つの深度マップおよび少なくとも１つのテクスチャマップとの間のマッピングを表す第２情報をビットストリームの第５シンタックス要素に符号化するように構成された符号化器と、を含む。
本開示はまた、シーンの３Ｄ表現を表すデータをビットストリームに符号化するように構成されたデバイスに関するものであり、この３Ｄ表現は、視点範囲に従っており、デバイスは、
−３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つの深度マップを、少なくとも１つの部分に関連付けられる少なくとも１つの２次元パラメータ化を表す少なくとも１つのパラメータ、および少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータに従って生成し、少なくとも１つの２次元パラメータ化を、少なくとも１つの点に関連付けられる幾何学的情報、および視点範囲に関連付けられる姿勢情報に応じて行う手段と、
−少なくとも１つの部分に関連付けられる少なくとも１つのテクスチャマップを、少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられる少なくとも１つのパラメータおよびデータに従って生成する手段と、
−３Ｄ表現の注目領域に従った少なくとも１つの深度マップおよび／または少なくとも１つのテクスチャマップ内の量子化パラメータの変化を表す第１情報を取得する手段と、
−少なくとも１つの深度マップをビットストリームの第１シンタックス要素に符号化し、少なくとも１つのテクスチャマップをビットストリームの第２シンタックス要素に符号化し、少なくとも１つのパラメータをビットストリームの第３シンタックス要素に符号化し、第１情報をビットストリームの第４シンタックス要素に符号化し、少なくとも１つの２次元パラメータ化と対応する少なくとも１つの深度マップおよび少なくとも１つのテクスチャマップとの間のマッピングを表す第２情報をビットストリームの第５シンタックス要素に符号化する手段と、を含む。
本開示は、シーンの３Ｄ表現を表すデータをビットストリームから復号する方法に関するものであり、この３Ｄ表現は、視点範囲に従っており、方法は、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分の少なくとも１つの２次元パラメータ化を表す少なくとも１つのパラメータを復号することと、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つのテクスチャマップを表すデータを復号することと、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つの深度マップを表すデータを復号することと、
−３Ｄ表現の少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータを、少なくとも１つのパラメータ、少なくとも１つのテクスチャマップを表すデータ、少なくとも１つの深度マップを表すデータ、ビットストリームから取得され、少なくとも１つの深度マップおよび／または少なくとも１つのテクスチャマップ内の量子化パラメータの変化を表す第１情報、ならびにビットストリームから取得され、少なくとも１つの２次元パラメータ化と対応する少なくとも１つの深度マップおよび少なくとも１つのテクスチャマップとの間のマッピングを表す第２情報から決定することと、を含む。
本開示は、シーンの３Ｄ表現を表すデータをビットストリームから復号するように構成されたデバイスに関するものであり、この３Ｄ表現は、視点範囲に従っており、デバイスは、少なくとも１つのプロセッサに関連付けられるメモリを含み、少なくとも１つのプロセッサは、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分の少なくとも１つの２次元パラメータ化を表す少なくとも１つのパラメータを復号し、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つのテクスチャマップを表すデータを復号し、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つの深度マップを表すデータを復号し、
−３Ｄ表現の少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータを、少なくとも１つのパラメータ、少なくとも１つのテクスチャマップを表すデータ、少なくとも１つの深度マップを表すデータ、ビットストリームから取得され、少なくとも１つの深度マップおよび／または少なくとも１つのテクスチャマップ内の量子化パラメータの変化を表す第１情報、ならびにビットストリームから取得され、少なくとも１つの２次元パラメータ化と対応する少なくとも１つの深度マップおよび少なくとも１つのテクスチャマップとの間のマッピングを表す第２情報から決定するように構成される。
本開示は、シーンの３Ｄ表現を表すデータをビットストリームから復号するように構成されたデバイスに関するものであり、この３Ｄ表現は、視点範囲に従っており、デバイスは、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分の少なくとも１つの２次元パラメータ化を表す少なくとも１つのパラメータを復号するように構成された復号器と、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つのテクスチャマップを表すデータを復号するように構成された復号器と、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つの深度マップを表すデータを復号するように構成された復号器と、
−３Ｄ表現の少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータを、少なくとも１つのパラメータ、少なくとも１つのテクスチャマップを表すデータ、少なくとも１つの深度マップを表すデータ、ビットストリームから取得され、少なくとも１つの深度マップおよび／または少なくとも１つのテクスチャマップ内の量子化パラメータの変化を表す第１情報、ならびにビットストリームから取得され、少なくとも１つの２次元パラメータ化と対応する少なくとも１つの深度マップおよび少なくとも１つのテクスチャマップとの間のマッピングを表す第２情報から決定するように構成されたプロセッサと、を含む。
本開示は、シーンの３Ｄ表現を表すデータをビットストリームから復号するように構成されたデバイスに関するものであり、この３Ｄ表現は、視点範囲に従っており、デバイスは、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分の少なくとも１つの２次元パラメータ化を表す少なくとも１つのパラメータを復号する手段と、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つのテクスチャマップを表すデータを復号する手段と、
−ビットストリームから、３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つの深度マップを表すデータを復号する手段と、
−３Ｄ表現の少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータを、少なくとも１つのパラメータ、少なくとも１つのテクスチャマップを表すデータ、少なくとも１つの深度マップを表すデータ、ビットストリームから取得され、少なくとも１つの深度マップおよび／または少なくとも１つのテクスチャマップ内の量子化パラメータの変化を表す第１情報、ならびにビットストリームから取得され、少なくとも１つの２次元パラメータ化と対応する少なくとも１つの深度マップおよび少なくとも１つのテクスチャマップとの間のマッピングを表す第２情報から決定する手段と、を含む。
具体的特徴によれば、少なくとも１つの深度マップおよび／または当該少なくとも１つのテクスチャマップは、第１情報に従って符号化される。
特定の特徴によれば、第１情報は、少なくとも１つの注目領域に関連付けられる予測誤差に対応する。
別の特徴によれば、第１情報は、少なくとも１つの２Ｄパラメータ化のサンプリングを表す情報に対応し、第１サンプリングレベルは、少なくとも１つの注目領域に関連付けられる２Ｄパラメータ化の少なくとも１つのエリアに適用され、第２サンプリングレベルは、２Ｄパラメータ化の他のエリアに適用される。
本開示はまた、シーンの３Ｄ表現を表すデータを伝達するビットストリームに関するものであり、この３Ｄ表現は、視点範囲に従っており、データは、
−３Ｄ表現の少なくとも１つの部分の少なくとも１つの２次元パラメータ化を表す少なくとも１つのパラメータであって、パラメータが、少なくとも１つの部分の少なくとも１つの点に関連付けられる幾何学的情報に従って、かつ視点範囲に関連付けられる姿勢情報に従って取得される、少なくとも１つのパラメータと、
−少なくとも１つの部分に関連付けられ、少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられる少なくとも１つのパラメータおよびデータから決定される少なくとも１つのテクスチャマップを表すデータと、
−３Ｄ表現の少なくとも１つの部分に関連付けられ、少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられる少なくとも１つのパラメータおよびデータから決定される少なくとも１つの深度マップを表すデータと、
−３Ｄ表現の注目領域に従った少なくとも１つの深度マップおよび／または少なくとも１つのテクスチャマップ内の量子化パラメータの変化を表す第１情報と、
−少なくとも１つの２次元パラメータ化と対応する少なくとも１つの深度マップおよび少なくとも１つのテクスチャマップとの間のマッピングを表す第２情報と、を含む。
本開示はまた、シーンの３Ｄ表現を表すデータを符号化または復号する方法のステップを、このプログラムをコンピュータで実行すると実行するプログラムコード命令を含むコンピュータプログラム製品に関する。
本開示はまた、プロセッサに、シーンの３Ｄ表現を表すデータを符号化または復号する少なくとも上記の方法を実行させる命令を格納する（非一時的な）プロセッサ可読媒体に関する。
４．図面の簡単な説明
以下の説明を読み取ると、本開示が、より良好に理解され、他の特定の特徴および利点が明らかになり、この説明は、添付の図面を参照している。
本原理の具体的実施形態によるボリュメトリックコンテンツを示している。 本原理の具体的実施形態による３Ｄシーン［または、３Ｄシーンの部分］の画像を取得して、図１のボリュメトリックコンテンツの少なくとも１つの部分を取得するように構成されたライトフィールド取得デバイスを示している。 本原理の具体的実施形態による図２Ａおよび図２Ｂの取得デバイスで取得される３Ｄシーンまたは３Ｄシーンの部分の表現を示している。 本原理の具体的実施形態による図３の３Ｄシーンの表現の３Ｄ部分に関連付けられる２Ｄパラメータ化を示している。 本原理の具体的実施形態による図４の３Ｄ部分に関連付けられるパッチアトラスを示している。 は、本原理の非限定的な実施形態による図５および図６のパッチアトラスの生成を示している。 図３の３Ｄシーンの３Ｄ表現の分割の非限定的な例を各々示している。 本原理の非限定的な実施形態による図４の３Ｄ部分に関連付けられる２Ｄパラメータ化のサンプリングの適応を示している。 本原理の第１の非限定的な実施形態による図３の３Ｄシーンを符号化／復号する第１方式を示している。 本原理の第２の非限定的な実施形態による図３の３Ｄシーンを符号化／復号する第２方式を示している。 本原理の第３の非限定的な実施形態による図３の３Ｄシーンを符号化／復号する第３方式を示している。 本原理の例による図１９および／または図２０の方法（群）を実現するように構成されるデバイスのアーキテクチャの例を示している。 本原理の例による通信ネットワークを介して通信する図１６の２つのリモートデバイスを示している。 本原理の例による図３の３Ｄシーンの３Ｄ表現の記述を伝達する信号のシンタックスを示している。 本原理の例による図３の３Ｄシーンの３Ｄ表現を表すデータを符号化する方法を示している。 本原理の例による図３の３Ｄシーンの３Ｄ表現を表すデータを復号する方法を示している。
５．発明を実施するための形態
ここで、主題について、同様の参照番号が、本明細書全体を通して同様の要素を指すために使用される図面を参照して説明される。以下の説明では、説明目的で、多くの特定の詳細が記載されて、主題の完全な理解が得られるようにしている。しかしながら、主題の実施形態は、これらの特定の詳細を用いることなく実施することができることは明らかであり得る。
本説明は、本開示の原理を例示している。このように、当業者であれば、本明細書に明示的には記載されていない、または示されていないが、本開示の原理を具体化する様々な構成を考案することができることを理解できるであろう。
本開示の非限定的な実施形態によれば、ボリュメトリックビデオ（３ＤｏＦ＋または６ＤｏＦビデオとも呼ばれる）の画像をビットストリームに符号化する方法およびデバイスが開示される。ボリュメトリックビデオの画像をビットストリームから復号する方法およびデバイスがさらに開示される。ボリュメトリックビデオの１つ以上の画像を符号化するビットストリームのシンタックスの例がさらに開示される。
第１の態様によれば、本原理は、シーンの３Ｄ表現を表すデータ（没入ビデオとも呼ばれる全方向性コンテンツで表される）をビットストリームに符号化する方法（および、符号化するように構成されたデバイス）の第１の具体的実施形態を参照して説明される。その目的を達成するために、１つ以上の２Ｄパラメータ化が、３Ｄ表現の場合に可能になり、２Ｄパラメータ化は、例えばシーンの３Ｄ表現の２Ｄ画素表現または３Ｄ表現の部分の２Ｄ画素表現に対応する。深度マップ（高さマップとも呼ばれる）およびテクスチャマップ（カラーマップとも呼ばれる）は、各部分に関連付けられる２Ｄパラメータ化を記述した１つ以上のパラメータを使用して、３Ｄ表現の各部分を決定し、かつ関連付けられる。３Ｄ表現（または、３Ｄ表現の部分に）に関連付けられる深度マップは、３Ｄ表現に（３Ｄ表現の部分にそれぞれ）含まれる要素群（例えば、点群）に関連付けられる奥行き情報または距離情報を含む。３Ｄ表現（または、３Ｄ表現の部分に）に関連付けられるテクスチャマップは、３Ｄ表現に（３Ｄ表現の部分にそれぞれ）含まれる要素群（例えば、点群）に関連付けられるテクスチャ情報（例えば、ＲＧＢ値）を含む。奥行き情報、および／またはテクスチャ情報を符号化するために使用される量子化ステップは、深度マップおよび／またはテクスチャマップ内で、深度マップおよび／またはテクスチャマップに関連付けられる３Ｄ表現の部分が、注目領域を含んでいるかどうかに応じて変化することができる。ビットストリームは、２Ｄパラメータ化（群）のパラメータ、深度マップ（群）を表すデータ、テクスチャマップ（群）を表すデータ、量子化ステップ（群）の変化に関する情報、および各２Ｄパラメータ化を、その２Ｄパラメータ化に関連付けられる深度マップおよびテクスチャマップにリンクさせるマッピング情報を組み合わせる、および／または符号化することにより生成することができる。
復号器／レンダリングされる側では、３Ｄ表現（例えば、ポイントクラウドまたはメッシュ）は、ストリームから、２Ｄパラメータ化のパラメータ、および量子化ステップの変化に関連する情報に関連付けられる深度マップおよびテクスチャマップを復号／抽出することにより再構成することができ、３Ｄシーンの１つ以上の画像は、３Ｄ表現からレンダリングすることができる。
複数の２Ｄパラメータ化を、オブジェクトをテクスチャ情報および奥行き情報で表す基準として使用することにより、シーンを表すために必要なデータの量を、ポイントクラウドまたは３Ｄメッシュを用いた表現と比較して減らすことができるとともに、オブジェクトを複雑なトポロジーを用いて最適な詳細レベルで表すことが可能になる。量子化ステップを存在する注目領域（群）に従って変化させることにより、注目領域（群）の良好な表現を維持しながら送信されるデータの量を減らすことがさらに可能になる。
図１は、本原理の非限定的な具体的実施形態によるボリュメトリックコンテンツ１０（没入型コンテンツまたは全方向性コンテンツとも呼ばれる）の例を示している。図１は、幾つかのオブジェクトの面表現を含む３次元シーンを表す画像を示している。シーンは、任意の好適な技術を使用して撮影されている可能性がある。例えば、シーンは、コンピュータグラフィックスイメージ（ＣＧＩ）ツールを使用して生成されている可能性がある。シーンは、カラー画像取得デバイスおよび奥行き画像取得デバイスにより撮影されている可能性がある。このような場合、取得デバイス（例えば、カメラ）から見えないオブジェクトの部分は、シーン中に表されていない可能性がある。図１に示す例示的なシーンは、家、２人の人物、および井戸を含む。図１のキューブ１１は、ユーザが３Ｄシーンをビュー空間から観察している可能性があるビュー空間を示している。
ボリュメトリックコンテンツ１０を視覚化するために使用される表示デバイスは、例えばユーザの頭部に装着される、またはヘルメットの部分として装着される、ＨＭＤ（ヘッドマウントディスプレイ）である。ＨＭＤは、１つ以上のディスプレイ画面（例えば、ＬＣＤ（液晶ディスプレイ）、ＯＬＥＤ（有機発光ダイオード）、またはＬＣＯＳ（液晶オンシリコン））と、ＨＭＤの位置の変化（群）を測定するように構成されるセンサ（群）、例えば現実世界の１軸、２軸、または３軸（ピッチ軸、ヨー軸、および／またはロール軸）のジャイロスコープまたはＩＭＵ（慣性測定ユニット）と、を備えるので有利である。ＨＭＤの測定位置に対応するボリュメトリックコンテンツ１０の部分は、現実世界のＨＭＤに関連付けられる視点と、ボリュメトリックコンテンツ１０に関連付けられる仮想カメラの視点との間の関係を確立させる特定の関数で決定されるので有利である。ＨＭＤのディスプレイ画面（群）に表示されるビデオコンテンツの部分をＨＭＤの測定位置に従って制御すると、ＨＭＤを装着しているユーザは、ＨＭＤのディスプレイ画面（群）に関連付けられる視野よりも大きい没入型コンテンツを閲覧することができる。例えば、ＨＭＤにより提供される視野が１１０°に等しい場合（例えば、ヨー軸回りの）、および没入型コンテンツが１８０°のコンテンツを提供する場合、ＨＭＤを装着しているユーザは、ユーザの頭部を右または左に回転させて、ＨＭＤにより提供される視野の外部のビデオコンテンツの部分を見ることができる。別の例によれば、没入型システムは、没入型コンテンツが部屋の壁に投影されるＣＡＶＥ（Ｃａｖｅ Ａｕｔｏｍａｔｉｃ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ：洞窟自動仮想環境）システムである。ＣＡＶＥの壁は、例えばリアプロジェクションスクリーンまたはフラットパネルディスプレイにより構成される。このように、ユーザは、ユーザの目で部屋の異なる壁を凝視しながら閲覧することができる。ＣＡＶＥシステムは、ユーザの画像を取得して、これらの画像のビデオ処理によりユーザの注視方向を決定するカメラを備えるので有利である。変形例によれば、ユーザの凝視または姿勢は、追跡システム、例えば赤外線追跡システムで決定され、ユーザは、赤外線センサを装着している。別の変形例によれば、没入型システムは、触覚ディスプレイ画面を備えるタブレットであり、ユーザはコンテンツを、コンテンツを１本以上の指で触覚ディスプレイ画面上を摺動してスクロールすることにより閲覧している。
ボリュメトリックコンテンツ１０は、例えば２π、２．５π、３π、または４π立体コンテンツとすることができる。
図２Ａおよび図２Ｂは、ボリュメトリックコンテンツ１０を取得するために使用することができるライトフィールド取得デバイスの例を示している。より具体的には、図２Ａおよび図２Ｂは各々、本原理の２つの具体的実施形態によるカメラアレイ２Ａ、２Ｂ（カメラアレイ群とも呼ばれる）を示している。
カメラアレイ２Ａは、ｐがマイクロレンズの数に対応する整数である幾つかのマイクロレンズ２０１、２０２〜２０ｐを含むレンズアレイ２０またはマイクロレンズアレイと、１つ、または幾つかのセンサアレイ２１と、を備える。カメラアレイ２Ａはメインレンズを含まない。レンズアレイ２０は、マイクロレンズアレイと一般的に命名されている微小デバイスとすることができる。１個のセンサを備えるカメラアレイは、メインレンズの焦点距離が無限であるプレノプティックカメラの特殊な場合であると考えることができる。フォトセンサの数がマイクロレンズの数に等しい、すなわち１つのフォトセンサが１つのマイクロレンズに光学的に関連付けられる具体的構成によれば、カメラアレイ２０は、正方形構成（図２Ａに示すような）または五点形構成、例えば円筒面上の非平坦構成のような近接離間される複数の個々のカメラ（例えば、マイクロカメラ）の構成として見ることができる。
カメラアレイ２Ｂは、各カメラがレンズおよびフォトセンサレイを含む個々のカメラのリグに対応する。カメラは、例えば数センチメートル以下、または５ｃｍ、７ｃｍ、または１０ｃｍに等しい距離だけ離間される。
このようなカメラアレイ２Ａまたは２Ｂで取得されるライトフィールドデータ（所謂ライトフィールド画像を形成する）は、シーンの複数のビューに対応する、すなわちレンズレットアレイとフォトセンサアレイとの間の距離がマイクロレンズ焦点距離に等しいプレノプティックカメラに対応するタイプ１．０のプレノプティックカメラのようなプレノプティックカメラ、またはその他には、タイプ２．０のプレノプティックカメラ（集光プレノプティックカメラとも呼ばれる）で取得される生画像を逆多重化してデモザイク処理することにより取得することができる最終ビューに対応する。カメラアレイ２Ｂのカメラは、任意の既知の方法に従って較正される、すなわちカメラの内部パラメータおよび外部パラメータが既知である。
ライトフィールド取得デバイスで取得される異なるビューにより、没入型コンテンツまたは没入型コンテンツの少なくとも１つの部分を、例えば奥行きを視差に基づいて計算することができるアルゴリズムを使用して取得することができる。当然のことながら、没入型コンテンツは、ライトフィールド取得デバイスとは異なる取得デバイスで取得する、例えば深度センサ（例えば、ＭｉｃｒｏｓｏｆｔのＫｉｎｅｃｔのような赤外線発信器／受光器またはレーザ発信器）に関連付けられるカメラで取得することができる。
図３は、ボリュメトリックコンテンツ１０で表されるシーンのオブジェクト、またはオブジェクトの部分の２つの異なる表現を示している。図３の例によれば、オブジェクトは、例えばシーン内を移動している人物であり、オブジェクトの部分は、図３に示す頭部に対応している。
オブジェクトの部分の第１の３Ｄ表現３０はポイントクラウドである。ポイントクラウドは、オブジェクトを表す、例えばオブジェクトの外面または外部形状を表す大きなポイント集合に対応している。ポイントクラウドは、ベクトル系の構造として見ることができ、各点は、その座標（例えば、３次元座標ＸＹＺ、または所定の視点からの奥行き／距離）と、成分とも呼ばれる１つ以上の属性と、を有する。成分の例は、異なるカラー空間で、例えばＲＧＢ（赤、緑、および青）またはＹＵＶ（Ｙはルマ成分であり、ＵＶは、２つのクロミナンス成分である）で表現することができるカラー成分である。ポイントクラウドは、所定の視点から見たときの、または視点範囲で見たときのオブジェクトの表現である。ポイントクラウドは、異なる方法で取得することができる、例えば、
●図２のカメラアレイのように、カメラのリグで撮影される実オブジェクトを撮影して、深度アクティブセンシングデバイスで任意に補完することにより、
●モデリングツールの仮想カメラのリグで撮影される仮想／合成オブジェクトを撮影することにより、
●実オブジェクトおよび仮想オブジェクトの両方を混合することにより取得することができる。
変形例によれば、３Ｄ表現は３Ｄメッシュ表現に対応し、第１の表現に示される点群はメッシュを形成するメッシュ要素（例えば三角形）の頂点に対応する。
第１の場合では（実オブジェクトを撮影することによる）、カメラ集合が、異なるビュー（異なる視点）に対応する画像集合または画像列（ビデオ）を生成する。奥行き情報−各カメラ中心からオブジェクト表面までの距離を意味する−は、深度アクティブセンシングデバイスにより、例えば赤外線範囲で、構造化された光分析または飛行時間に基づいて、もしくは視差アルゴリズムに基づいて取得される。両方の場合では、全てのカメラを内部較正および外部較正する必要がある。視差アルゴリズムは、通常は１次元ラインに沿って行われる、修正後のカメラ画像ペアの類似した視覚的特徴の検索により構成され、画素列の差分がより大きくなると、この特徴の表面により近づくようになる。カメラアレイの場合では、グローバル奥行き情報は、複数のピア視差情報を組み合わせて複数のカメラペアの利点を生かすことにより取得することができるので、信号対雑音比を向上させることができる。
第２の場合（合成オブジェクト）では、モデリングツールが奥行き情報を直接供給する。
オブジェクトの部分の第２表現３１は、ポイントクラウド（または、３Ｄメッシュ）表現３０から取得することができ、第２表現は面表現に対応している。ポイントクラウドを処理してポイントクラウドの表面を計算することができる。その目的のために、ポイントクラウドの所定のポイントについて、この所定の点の隣接点を使用して、この所定の点の局所面の法線を計算し、この所定の点に関連付けられる面要素は法線から導出されている。このプロセスは、表面を取得するために全ての点について繰り返される。表面をポイントクラウドから再構成する方法は、例えば最新技術レポート、２０１４年に記載されているＭａｔｔｈｅｗ Ｂｅｒｇｅｒらによる「Ｓｔａｔｅ ｏｆ ｔｈｅ Ａｒｔ ｉｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｐｏｉｎｔ Ｃｌｏｕｄｓ（表面をポイントクラウドから再構成する最新技術）」に記載されている。変形例によれば、ポイントクラウドの所定の点に関連付けられる面要素は、スプラットレンダリング（ｓｐｌａｔ ｒｅｎｄｅｒｉｎｇ）をこの所定の点に適用することにより取得される。オブジェクトの表面（オブジェクトの暗黙的な表面または外面とも呼ばれる）は、ポイントクラウドの点群に関連付けられるスプラット（例えば、楕円体）の全てをブレンドすることにより取得される。
具体的実施形態では、ポイントクラウドは、ポイントクラウド全体のオブジェクトではなくオブジェクトの部分的なビューのみを表し、これは、オブジェクトが、例えば映画シーンのレンダリング側でどのように見えると考えられるかということに対応する。例えば、フラットカメラアレイに対向している人物を撮影すると、ポイントクラウドがリグの側でのみ生成される。人物の後ろも存在することがなく、オブジェクトは、オブジェクト自体で閉じていないので、このオブジェクトの幾何学的特徴は、リグの方向に向いた表面の全ての集合である（各局所面の法線と、取得デバイスに戻る光線との間の角度は、例えば９０°未満である）。
図４は、本原理の具体的実施形態によるカメラ４００１、４００２、４００３、および４００４で取得されているシーンのオブジェクトの表現４０の３Ｄ部分に関連付けられる２Ｄパラメータ化４１、４２、および４３を示している。カメラ４００１〜４００４は、例えば図２Ｂのリグのカメラ群の幾つかのカメラに対応する。オブジェクトは、図３の例３１におけるように、その表面４０で表されるが、図３の例３０におけるように、ポイントクラウド自体で表されるようにしてもよい。各２Ｄパラメータ化は、オブジェクトの表現の３Ｄ部分に関連付けられ、各３Ｄ部分は、ポイントクラウドの１つ以上のポイントを含むボリュームに対応している。各２Ｄパラメータ化は、取得デバイスの姿勢情報を考慮に入れることにより決定されて、当該各２Ｄパラメータ化に関連付けられる３Ｄ部分に含まれるポイントクラウドの最大数のポイント（取得デバイスの視点範囲により生成される）が閲覧されるようにする。２Ｄパラメータ化が、関連付けられた３Ｄ部分の点群の線形透視投影で可能になる場合、決定された視点は、各２Ｄパラメータ化に関連付けられ、各視点は、シーンを取得するために使用される視点範囲に対応する視点範囲内に含まれる。２Ｄパラメータ化４１は、視点４０１に関連付けられ、２Ｄパラメータ化４２は、視点４０２に関連付けられ、２Ｄパラメータ化４３は、視点４０３に関連付けられる。図４から分かるように、視点４０１〜４０３の各視点は、取得デバイスの視点範囲の左限界４００１および右限界４００４にそれぞれ対応する視点４００１と視点４００２との間に位置付けられる。ポイントクラウドは、決定された限定視点範囲から取得され、ポイントクラウドの３Ｄ部分の２Ｄ表現（すなわち、２Ｄパラメータ化）は全て、ポイントクラウドを取得するために使用される決定された限定視点範囲内に位置付けられる視点から見られる。各２Ｄパラメータ化は、その２Ｄパラメータ化が関連付けられるポイントクラウドの３Ｄ部分の２Ｄ表現である。同じ３Ｄ部分は、１つの、または幾つかの２Ｄパラメータ化で、例えば２つ、３つ、または３つよりも多くの２Ｄパラメータ化で表すことができる。上に説明したように、ポイントクラウドの１つの所定の３Ｄ部分に関連付けられる２Ｄパラメータ化は、ポイントクラウドの所定の３Ｄ部分の２次元で閲覧して所定の３Ｄ部分、すなわち複数のサンプルを含むこの所定の３Ｄ部分のコンテンツの２Ｄ表現（すなわち、点（群））をサンプリングすることが可能になることに対応し、サンプルの数は、適用されるサンプリングレートに依存する。２Ｄパラメータ化は、様々な方法で可能になり、例えば以下の方法のいずれか１つの方法を実現することにより可能になる：
−ポイントクラウドの３Ｄ部分の点群を視点に関連付けられる平面に線形透視投影することであって、線形透視投影を表すパラメータが仮想カメラの位置、空間サンプリングレート、および２次元の視野を含むことと、
−ポイントクラウドの３Ｄ部分の点群を表面に正射投影することであって、正射投影を表すパラメータが、投影面の幾何学構造（形状、サイズ、および方位）および空間サンプリングレートを含むことと、
−次元削減の数値演算に対応するＬＬＥ（Ｌｏｃａｌｌｙ−Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ：局所線形埋め込み法）をここで適用して３Ｄから２Ｄへのコンバート／トランスフォームを行うことであって、ＬＬＥを表すパラメータが変換係数を含むことと、を含む方法のいずれか１つの方法を実行することにより可能になる。
２Ｄパラメータ化４１、４２、および４３は、限られた数のパラメータで表すことができ、例えば１つ以上のパラメトリック方程式で定義することができる。ポイントクラウドの所定の３Ｄ部分に関連付けられる２Ｄパラメータ化は、所定の３Ｄ部分の幾何学的特徴（例えば、３Ｄ部分内に位置付けられる点群から取得される所定の３Ｄ部分の極点群、および／または所定の３Ｄ部分に含まれるオブジェクトの部分の外面の要素に関連付けられる法線情報）および取得デバイス（群）の姿勢情報（例えば、２Ｄパラメータ化の向きを設定するための）を考慮に入れることにより決定される。３Ｄ部分の幾何学的特徴および姿勢情報を考慮すると、３Ｄ部分に対向する空間に位置付けられる２Ｄパラメータ化、すなわち取得デバイスとポイントクラウドとの間に位置付けられる２Ｄパラメータ化を可能にすることができる。
図４から分かるように、２Ｄパラメータ化４１、４２、および４３は互いに重なり合う可能性があり、重なり合いは、例えば２Ｄパラメータ化が関連付けられる３Ｄ部分の重なり合いに起因する。
３Ｄ部分を取得するために、ポイントクラウドを異なる方法に従って分割することができる。例えば、ポイントクラウドは、図８Ａ〜図８Ｄの例に従って分割することができる。図８Ａの非限定的な例によれば、ポイントクラウドが占有する３Ｄ空間８１（例えば、半球）は、球座標系（ｒ、θ、φ）に従って、すなわち半球の半径に対応し、かつ角度「θ」および「φ」に対応する距離「ｒ」に従って分割され、各寸法「ｒ」、「θ」、および「φ」は均等に分割されている。変形例によれば、寸法「ｒ」、「θ」、および／または「φ」のうちの１つ以上の寸法は、変化することができる、例えば３Ｄ部分の奥行きは、寸法「ｒ」とともに変化することができる。変形例によれば、各３Ｄ部分のサイズは、ポイントクラウドの点群を３Ｄ部分に均一に分布させるように決定され、３Ｄ点群のサイズは、ポイントクラウドが占有する空間の異なる領域の点群の局所密度に依存する。図８Ｂの例では、ポイントクラウドが占有する３Ｄ空間８２（例えば、半球）は、球座標系（ｒ、θ、φ）に従ってジグザグに分割される。図８Ａおよび図８Ｂの例では、３Ｄ部分はビューカメラ錐台ボリュームとして見ることができる。図８Ｃの非限定的な例によれば、ポイントクラウドが占有する３Ｄ空間８３（例えば、ポイントクラウドを区切るボックスに対応する平行六面体）は、デカルト座標系（ｘ、ｙ、ｚ）に従って、すなわち３Ｄデカルト基準座標系の３次元に従って分割される。各３Ｄ部分は、立方体または直方体の形態を有することができる。各３Ｄ部分は、同じサイズを有することができるか、または３Ｄ部分は、例えば点群を全ての３Ｄ部分に均一に分布させるために異なるサイズとすることができる。図８Ｄは、図８Ｃの分割の変形例を示しており、平行六面体は、ポイントクラウドが占有する３Ｄ空間８４内でジグザグに分布している。図８Ａ、図８Ｂ、図８Ｃ、および図８Ｄに示されていない場合でも、ポイントクラウドの分割から得られる３Ｄ部分は互いに部分的に重なり合う可能性があり、ポイントクラウドの空間の幾つかの部分が幾つかの３Ｄ部分に属する可能性があることを意味している。ポイントクラウドの分割は固定することができる、または経時的に変化することができる。例えば、ポイントクラウドの分割は、ＧＯＰ（グループオブピクチャ）から別のＧＯＰに変化させることができる。ＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ：ＨＴＴＰ経由のダイナミックアダプティブストリーミング）の状況において適用される場合、分割はセグメントごとに変化することができ、ＩＳＯＢＭＦＦ規格の座標系では、このセグメントはＩＳＯＢＭＦＦセグメントとすることができる。
図５は、本原理の非限定的な例によるフレームｉに関する、およびフレームｉよりも時間的に後に位置付けられるフレームｊに関するポイントクラウドの３Ｄ部分との深度マップおよびテクスチャマップの関連付けを示している。オブジェクト５（図５の例の人物）を表す３Ｄポイントクラウドは、灰色の濃淡で示されている。オブジェクト５の分割５１は、図８Ａの例に対応する、すなわち隣接する３Ｄ部分の間で部分的に重なり合う球座標系に従った分割に対応する。明瞭性を期して、ポイントクラウドおよびポイントクラウドの分割は、θおよびφのみに従って２Ｄで表される。分割から得られる３Ｄ部分は、行列状に並べた正方形５１００、５１１０、５１ｍｎで示されており、「ｍ」は行インデックスに対応し、「ｎ」は列インデックスに対応する。例えば、参照番号５１００は、インデックス「０」の行に属し、かつインデックス「１」の列に属する正方形を指し、参照番号５１１０は、インデックス「１」の行に属し、かつインデックス「０」の列に属する正方形を指している。１つの深度マップは、ポイントクラウド５の各３Ｄ部分に関連付けられる。同じように、１つのテクスチャマップは、ポイントクラウド５の各３Ｄ部分に関連付けられる。
所定の３Ｄ部分、例えば３Ｄ部分５１１０に関連付けられる深度マップは、所定の３Ｄ部分５１１０に関連付けられる２Ｄパラメータ化のパラメータを使用することにより取得され、深度マップ５３２０は、３Ｄ部分５３２０に関連付けられる２Ｄパラメータ化のパラメータを使用することにより取得される。例えば、２Ｄパラメータ化が線形透視投影に対応する場合、２Ｄパラメータ化を表すパラメータは、視点の位置（すなわち、仮想カメラの位置）であり（これは、例えば３Ｄ部分に含まれるポイントクラウドの点群に関連付けられる法線から取得することができる）、水平視野および垂直視野である。深度マップに格納されることになる奥行き情報は、直線透視の場合の仮想カメラの位置、または正射投影の場合の２Ｄ投影面と、直線透視の場合の視点を起点として、または正射投影の場合の投影面に直交して、３Ｄ部分に含まれるポイントクラウドの点群で終了する光線に沿って３Ｄ部分に含まれるポイントクラウドの点群との間の距離に対応し、例えば実空間の点の座標、および視点の座標（線形透視投影の場合）を認識する。オブジェクトがポイントクラウドの点群から取得されるオブジェクトの暗黙的な表面で表される場合、深度マップに格納されることになる距離は、一方における光線と２Ｄパラメータ化表面との交差部と、他方における光線と暗黙的な表面との交差部との間の距離に対応する。奥行き情報の数は、サンプリング間隔に依存する２Ｄパラメータ化表面の解像度に依存する可能性がある。深度マップは、例えばスプラットレンダリング技法を適用することにより取得される、すなわち１つの点に関連付けられる深度値は、この点に関連付けられる２Ｄパラメータ化表面のサンプルに割り当てられ（このサンプルは、使用される２Ｄパラメータ化のタイプに依存する、例えば線形透視投影、正射投影、またはＬＬＥ）、さらに交差サンプルに隣接して位置付けられるサンプル（これらのサンプルはスプラットを形成する）に割り当てられる。変形例によれば、深度マップは、光線追跡技法を適用することにより、すなわち光線を２Ｄパラメータ化表面のサンプルから発射して、所定のサンプルに、この所定のサンプルから発射される光線が交差する点（または、光線に最も近い点）に関連付けられる深度値に対応する深度値を割り当てることにより取得される。
奥行き情報の符号化は、第１パッチアトラス５３の深度マップごとに変化する可能性がある。例えば、所定の深度マップに関する奥行き情報の符号化は、所定の深度マップに関連付けられる３Ｄ部分の深度値範囲および／または３Ｄ部分に含まれる点群の数に適合させることができる。例えば、３Ｄ部分に関して計算される最小深度値および最大深度値に応じて、対応する深度マップの奥行き情報の符号化は、これらの最小値と最大値との差に適合するように決定される。差が小さい場合、奥行き情報は、例えば８ビットまたは１０ビットで符号化することができ、差が大きい場合、奥行き情報は、例えば１２ビット、１４ビット、またはより多くのビットで符号化することができる。符号化を深度マップごとに変化させることにより、ビットレート符号化を最適化することができる。変形例によれば、奥行き情報は、最小深度値と最大深度値との差がどのようなものであっても、同じビット深度（例えば、８、１０、１２、または１４ビット）で３Ｄマップごとに符号化されるが、最小値および最大値を考慮することにより符号化される。このような変形例により、差が小さい場合の量子化ステップを小さくすることができ、奥行き情報の符号化に関連付けられる量子化ノイズを低減することができる。
同じように、所定の３Ｄ部分に関連付けられるテクスチャマップは、所定の３Ｄ部分に関連付けられる２Ｄパラメータ化のパラメータを使用することにより取得される。所定の３Ｄ部分に含まれるポイントクラウドの点群から取り出されるカラー情報、または視点から放出される光線が交差するオブジェクトの暗黙的な表面から取り出されるカラー情報は、２Ｄパラメータ化表面のサンプルに関連付けられてカラーマップを形成する。深度マップに関しては、カラーマップは、例えばスプラットレンダリング技法を適用することにより取得される、すなわち１つの点に関連付けられるカラー値（群）は、この点に関連付けられる２Ｄパラメータ化表面のサンプルに割り当てられ（このサンプルは、使用される２Ｄパラメータ化のタイプ、例えば線形透視投影、正射投影、またはＬＬＥに依存する）、さらに交差サンプルに隣接して位置付けられるサンプル（これらのサンプルはスプラットを形成する）に割り当てられる。変形例によれば、テクスチャマップは、光線追跡技法を適用することにより、すなわち光線を２Ｄパラメータ化表面のサンプルから発射して、所定のサンプルに、この所定のサンプルから発射される光線が交差する点（または、光線に最も近い点）に関連付けられるカラー値に対応するカラー値を割り当てることにより取得される。奥行き情報に関しては、所定のカラーマップに関するカラー情報の符号化は、所定のカラーマップに関連付けられる３Ｄ部分のカラー値範囲に、および／または３Ｄ部分に含まれる点の数に適合させることができる。例えば、３Ｄ部分に関して計算される最小カラー値および最大カラー値に応じて、対応するカラーマップのカラー情報の符号化は、これらの最小値と最大値との差に適合するように決定される。差が小さい場合、テクスチャ／カラー情報は、例えば８または１０ビットで符号化することができ、差が大きい場合、テクスチャ／カラー情報は、例えば１２ビット、１４ビット、またはより多くのビットで符号化することができる。符号化をカラーマップごとに変化させることにより、ビットレート符号化を最適化することができる。変形例によれば、カラー情報は、最小カラー値と最大カラー値との差がどのようなものであっても、同じビット深度（例えば、８、１０、１２、または１４ビット）でテクスチャマップごとに符号化されるが、最小値および最大値を考慮することにより符号化される。このような変形例により、差が小さい場合の量子化ステップを小さくして、ポイントクラウドで表されるオブジェクトのＨＤＲ（ハイダイナミックレンジ）表現を取得するために使用することができるより高いカラーダイナミックレンジまたはより高いルミナンスレンジを可能にする。
取得された深度マップ集合は、第１パッチアトラス５３に、決定された構成、またはランダムな構成に従って、例えば行および列の行列状に並べることができ、第１パッチアトラス５３のパッチは、１つの深度マップに対応する。例えば、パッチ５３１は、３Ｄ部分５１１０に関連付けられる深度マップである。
同じように、取得されたテクスチャマップ集合を第２パッチアトラス５４に、例えば第１パッチアトラス５３の深度マップと同じ構成に従って並べる。
第１マッピング情報を生成して２Ｄパラメータ化と、関連付けられる深度マップおよびテクスチャマップとの接続を、それぞれ第１および第２パッチアトラスに保存することができる。第１マッピング情報は、例えば：
｛２Ｄパラメータ化のパラメータ；深度マップＩＤ；テクスチャマップＩＤ｝の形式とすることができ、
深度マップＩＤは、整数値とするか、または深度マップが属する列インデックスＵおよび行インデックスＶを第１パッチアトラスのパッチ行列に含む一対の値とすることができ、テクスチャマップＩＤは、整数値とするか、またはテクスチャマップが属する列インデックスＵ’および行インデックスＶ’を第２パッチアトラスのパッチ行列に含む一対の値とすることができる。
深度マップおよびテクスチャマップを第１パッチアトラスおよび第２パッチアトラスと同じ構成に従って並べる場合、深度マップＩＤおよびテクスチャマップＩＤは同じであり、第１マッピング情報は、例えば：
｛２Ｄパラメータ化のパラメータ；深度マップＩＤおよびテクスチャマップＩＤ｝の形式とすることができ、
「ｄｅｐｔｈ ａｎｄ ｔｅｘｔｕｒｅ ｍａｐｓ ＩＤ（深度マップＩＤおよびテクスチャマップＩＤ）」は、第１パッチアトラスの深度マップおよび第２マップアトラスのカラーマップの両方を、深度マップおよびテクスチャマップの両方に関連付けられる同じ整数値、または深度マップおよびテクスチャマップが属する一対の列インデックス値Ｕおよび行インデックス値Ｖのいずれかにより、それぞれ第１パッチアトラスおよび第２パッチアトラスに特定する。
同じマッピング情報は、２Ｄパラメータ化ごとに、および関連付けられる深度マップおよびテクスチャマップごとに生成される。このような第１マッピング情報からポイントクラウドを、対応する深度マップおよびテクスチャマップとの２Ｄパラメータ化の関連付けを確立することにより再構成することができる。２Ｄパラメータ化が投影である場合、ポイントクラウドは、関連付けられる深度マップに含まれる奥行き情報、および関連付けられるテクスチャマップのテクスチャ／カラー情報を逆投影する（逆投影を実行する）ことにより再構成することができる。次に、第１マッピング情報はマッピング情報リストに対応する：
｛２Ｄパラメータ化のパラメータ；深度マップＩＤおよびテクスチャマップＩＤ｝ｉ、
ｉ＝１〜ｎの場合、ｎは２Ｄパラメータ化の数である。
第１パッチアトラス５３および第２パッチアトラスは、同じ解像度の画像、すなわちＫ列およびＬ行の行列状に並べた同じ数の画素を有する画像として見ることができ、ＫおよびＬは整数である。各パッチ（第１パッチアトラス５３の深度マップまたは第２パッチアトラス５４のテクスチャマップのいずれかに対応する）は、第１パッチアトラス５３または第２パッチアトラスのいずれかを表す画像の画素部分集合を含む。
任意の変形例によれば、第２マッピング情報は、第１パッチアトラス５３または第２パッチアトラス５４のいずれかを表す画像の画素に関連付けることができ、第２マッピング情報は、第１パッチアトラス５３を表す画像、および第２パッチアトラス５４を表す画像に共通であるので有利であり、解像度は両方の画像に関して同じであり、同じ２Ｄパラメータ化を指すパッチは、第１および第２パッチアトラスの両方の同じ構成に従って編成される。第２マッピング情報は、第１パッチアトラス（または、第２パッチアトラス）を表す画像の各画素または各画素グループが、どの２Ｄパラメータ化を指しているか、またはどの２Ｄパラメータ化に関連付けられるかを示している。その目的を達成するために、識別情報が各２Ｄパラメータ化（例えば、２Ｄパラメータ化ごとに異なる整数値）に関連付けられる。第２マッピング情報は、例えば行および列に並べたセル群のマップの形式とすることができ、各セルは、画像の画素または画素グループに対応し、対応する２Ｄパラメータ化の識別情報を含む。別の例によれば、第２マッピング情報は、例えば以下の形式のリストに対応する：
第１／第２パッチアトラスを表す画像の画素ごとの、または画素グループごとの｛３Ｄ部分識別情報；画素／画素グループ識別情報｝。
第２マッピング情報から、復号器／レンダリングされる側における情報の復号を、画像の画素ごとに行われる必要がある各３Ｄ部分に関連付けられる識別情報の取り出しを容易にすることにより高速化することができる。復号器の通常の実施態様は、画像の画素ごとのこの取り出しをＧＰＵ（グラフィックプロセッシングユニット）で並行して実行する必要があり、リストの閲覧を回避する必要がある。この任意の変形例によれば、この第２マッピング情報は、通常、解像度がカラーおよび奥行き画像よりも低い画像であり、各画素は、画素／点が属する各３Ｄ部分に関連付けられる識別情報を直接与える。
オブジェクト５の分割は、経時的に変化する可能性があり、例えばＧＯＰから別の次のＧＯＰで異なる可能性がある、またはオブジェクト５のトポロジーの変化が変化している場合に異なる可能性がある、またはｑフレームごとに異なる可能性があり、ｑは１以上の整数である。分割におけるこのような変化は、図５にフレームｊで示されている。フレームｊにおけるオブジェクト５の分割５２は、フレームｉにおける同じオブジェクト５の分割５１とは異なっている。図５の例では、フレームｊにおけるオブジェクト５のトポロジーは、フレームｉにおけるオブジェクト５のトポロジーとは異なっている。フレームｊは、例えばフレームｉを含むＧＯＰよりも時間的に後のＧＯＰに属することができる。３Ｄ部分に関連付けられる深度マップと、対応する２Ｄパラメータ化と、を含む第１パッチアトラス５５は、フレームｉに関して説明したように、分割から得られ、３Ｄ部分に含まれる点群の幾何学構造（例えば、座標）を表すデータから得られる３Ｄ部分に関連付けられる２Ｄパラメータ化を表すパラメータを使用して取得される。分割５２から得られる３Ｄ部分の数は、分割５１から得られる３Ｄ部分の数よりも少ないので、第１パッチアトラス５５の深度マップの数は、第１パッチアトラス５３に含まれる深度マップの数よりも少ない。同じように、３Ｄ部分に関連付けられるテクスチャマップと、対応する２Ｄパラメータ化と、を含む第２パッチアトラス５６は、フレームｉに関して説明したように、分割５２から得られ、３Ｄ部分に含まれる点群の幾何学構造（例えば、座標）を表すデータから得られる３Ｄ部分に関連付けられる２Ｄパラメータ化を表すパラメータを使用して取得される。分割５２から得られる３Ｄ部分の数は、分割５１から得られる３Ｄ部分の数よりも少ないので、第２パッチアトラス５６のテクスチャマップの数は、第２パッチアトラス５４に含まれる深度マップの数よりも少ない。
図６は、オブジェクト５を表す３Ｄ表現（例えば、ポイントクラウド）の３Ｄ部分に関連付けられる第１または第２パッチアトラスの追加の非限定的な例を示している。図６は、例えば図５の分割５１に対応するポイントクラウドの第１分割６１、および同じポイントクラウドの第２分割６２を示している。第１パッチアトラス６３は、第１分割６１から生成され、第１パッチアトラス６３は、分割６１から得られる３Ｄ部分に関連付けられる２Ｄパラメータ化から取得される深度マップを含む。第２パッチアトラス６４は、第１分割６１から生成され、第２パッチアトラス６４は、分割６１から得られる３Ｄ部分に関連付けられる２Ｄパラメータ化から取得されるテクスチャマップを含む。
第２分割６２は、第１分割６１の３Ｄ部分群の幾つかの３Ｄ部分が、第２分割６２の単一の３Ｄ部分にグループ化されているという意味で第１分割６１とは異なっている。例えば、人物の胴を表す第１分割６１の６つの３Ｄ部分をグループ化して、１つの３Ｄ部分６２２を第２分割６２に形成している。同じように、人物の肩および腕の部分を表す第１分割６１の４つの３Ｄ部分をグループ化して、１つの３Ｄ部分６２１を第２分割６２に形成している。３Ｄ部分は、例えば３Ｄ部分に含まれるポイントクラウドの点群に関連付けられる幾何学的特徴に従ってグループ化される。例えば、これらの３Ｄ部分の各３Ｄ部分に含まれる点群から取得される暗黙的な表面が同様のトポロジーを有する、例えば互いに接近する法線、および／または互いに接近して関連付けられる深度値範囲を有する場合、３Ｄ部分をグループ化して合成することができる。
第１パッチアトラス６５は、第２分割６２から生成され、第１パッチアトラス６５は、第２分割６２から得られる３Ｄ部分に関連付けられる２Ｄパラメータ化から取得される深度マップを含む。図６に示すように、第１パッチアトラス６５の深度マップの形状および数は、第１パッチアトラス６３の深度マップの形状および数とは異なっている。３Ｄ部分６２１、６２２の２Ｄパラメータ化に関連付けられる深度マップ６５１、６５２の幾つかは、第１パッチアトラス６３の対応する深度マップと比較してサイズが異なっている。同じように、第２パッチアトラス６６は、第２分割６２から生成され、第２パッチアトラス６６は、第２分割６２から得られる３Ｄ部分に関連付けられる２Ｄパラメータ化から取得されるテクスチャマップを含む。第２パッチアトラス６６のカラーマップの数は、第１分割６１の３Ｄ部分をグループ化して第２分割６２を取得した後の第２パッチアトラス６４のカラーマップの数よりも少ない。このグループ化により、パッチの数を減らすことができるので、シャープな境界および高空間周波数情報の数を減らすことができる。これを減らすことにより、テクスチャマップおよび深度マップの圧縮ビットレートを下げることができる。
追加の例によれば、単一の２Ｄパラメータ化は、オブジェクト５全体に関連付けることができ、単一の深度マップおよび単一のテクスチャマップは、オブジェクト５全体に関して生成することができる。
図７は、本原理の非限定的な例による第１および第２パッチアトラスを、オブジェクト５を表すポイントクラウドの３Ｄ部分から生成することを示している。
オブジェクト５を表すポイントクラウドは、複数の３Ｄ部分、例えば５０、１００、１０００、またはそれよりも多くの３Ｄ部分に分割され、これらの３Ｄ部分のうちの３つの３Ｄ部分が図７に示されている、すなわち３Ｄ部分７１、７２、および７３が示されており、３Ｄ部分７１は、人物の頭部の部分を表すポイントクラウドの点群を含み、３Ｄ部分７２は、人物の脇の下を表すポイントクラウドの点群を含み、３Ｄ部分７３は、人物の手を表すポイントクラウドの点群を含む。各３Ｄ部分または３Ｄ部分の構成部分の１つ以上の２Ｄパラメータ化を生成して、各３Ｄ部分を２次元で表す。例えば、２Ｄパラメータ化７０１は、３Ｄ部分７１に関して可能になり、２Ｄパラメータ化７０２は３Ｄ部分７２に関して可能になり、２つの異なる２Ｄパラメータ化７０３および７０４は、３Ｄ部分７３に関して可能になる。２Ｄパラメータ化は、３Ｄ部分ごとに変化する可能性がある。例えば、３Ｄ部分７１に関連付けられる２Ｄパラメータ化７０１が線形透視投影であるのに対し、３Ｄ部分７２に関連付けられる２Ｄパラメータ化７０２はＬＬＥであり、３Ｄ部分７３に関連付けられる２Ｄパラメータ化７０３および７０４はともに、異なる視点に従った正射投影である。２Ｄパラメータ化を可能にするために使用される全ての視点は、オブジェクト５の画像を取得するために、かつ関連付けられるポイントクラウドを取得するために使用される取得デバイスの視点範囲内に位置付けられるように選択される。変形例によれば、全ての３Ｄ部分に関連付けられる全ての２Ｄパラメータ化は、同じタイプであり、例えば線形透視投影または正射投影である。変形例によれば、異なる２Ｄパラメータ化を同じ３Ｄ部分に関して使用することができる。可能になった２Ｄパラメータ化に関連付けられる深度マップを収集した第１パッチアトラス７４は、図５および図６に関して説明した通りに生成される。第１パッチアトラスは、深度マップの中でもとりわけ、２Ｄパラメータ化７０１に関連付けられる深度マップ７４１、２Ｄパラメータ化７０２に関連付けられる深度マップ７４２、２Ｄパラメータ化７０３に関連付けられる深度マップ７４３、および２Ｄパラメータ化７０４に関連付けられる深度マップ７４４を含む。可能になった２Ｄパラメータ化に関連付けられるテクスチャマップを収集した第２パッチアトラス７５は、図５および図６に関して説明した通りに生成される。
３Ｄ部分ごとの２Ｄパラメータ化の選択は、例えば最適化プロセスに基づいて行われて、例えば第１および第２パッチアトラスのマップの数を減らす、および／または３Ｄから２Ｄへの変換プロセス中に失われる３Ｄ部分の点群を最小限に抑える。
各深度マップまたはテクスチャマップは、第１パッチアトラスおよび第２パッチアトラスに対する詰め込みプロセスを容易にする矩形形状を有するので有利である。
第１パッチアトラスおよび第２パッチアトラスそれぞれの深度マップおよびテクスチャマップは、復号器側で破棄されることになる境界で分離されて、シャープな視覚的境界で発生する圧縮アーティファクトを取り除く。ポイントクラウドを再生成するために復号器側で深度マップおよびテクスチャマップの取り出しを行うための正確な部分の情報、例えば深度マップ／テクスチャマップの幅および高さは、例えばスパンを、線形透視投影または正射透視投影の場合の画素で表現される投影面の２次元で与えるパラメータのような２Ｄパラメータ化のパラメータ群の幾つかのパラメータにより供給される。
図９および図１０は、本原理の非限定的な実施形態によるシーンの３Ｄ表現または３Ｄ表現の部分に関連付けられる２Ｄパラメータ化の空間サンプリングの適応化を示している。
図９は、例えば２Ｄパラメータ化４１、４２、または４３の１つに対応する２Ｄパラメータ化９０の例を示している。２Ｄパラメータ化は、２Ｄパラメータ化９０に対応するシーンの３Ｄ表現の部分に含まれる注目領域に各々対応する２つの注目領域９０１を含む。３Ｄ表現の注目領域（群）は、例えば当業者には既知の任意のオブジェクトレベルの顕著性検出手法を適用することにより決定される。１人以上の人物を含むシーンに適用される場合、オブジェクトレベルの顕著性検出手法は、人物（群）の顔（群）が注目オブジェクトであることを考慮した顔検出手法とすることができる。オブジェクトレベルの顕著性検出手法は、例えば図２Ａおよび図２Ｂの取得デバイスで取得される３Ｄシーンの画像に適用することができる。２Ｄパラメータ化９０の空間サンプリングは、２Ｄパラメータ化の他のエリアに割り当てるよりも多くのサンプル（例えば、画素）を、注目領域９０１を含む２Ｄパラメータ化のエリアに割り当てるように適合させることができる。その目的を達成するために、グリッド生成手法（例えば、Ｊ．Ｅ．ＣＡＳＴＩＬＬＯ、Ｊ．Ｓ．ＯＴＴＯによる「Ａ Ｐｒａｃｔｉｃａｌ Ｇｕｉｄｅ ｔｏ Ｄｉｒｅｃｔ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｐｌａｎａｒ Ｇｒｉｄ−Ｇｅｎｅｒａｔｉｏｎ（平面グリッド生成の直接最適化の実用ガイド）」に記載されているように）を使用して、２Ｄパラメータ化９０のサンプリングを２Ｄパラメータ化において検出される注目領域または注目点に応じて適応させることができる。グリッド生成アルゴリズムは、例えばサンプリングマッピング演算子ＳＭＯ９１と呼ばれるパラメータ集合で記述することができる。ＳＭＯ９１を２Ｄパラメータ化９０に適用することにより、出力２Ｄパラメータ化９２が可能になる。注目領域９２１の表現が占有する空間は、出力２Ｄパラメータ化９２においては、入力２Ｄパラメータ化９０において注目領域９０１が占有する空間よりも大きい。入力２Ｄパラメータ化９０および出力２Ｄパラメータ化９２の両方におけるサンプル（画素）の総数を考慮すると、注目領域に割り当てられるサンプル（画素）の数は、入力２Ｄパラメータ化におけるよりも出力２Ｄパラメータ化において多いのに対し、他のエリア（注目点を含まない）９２１に割り当てられるサンプル（画素）の数は、入力２Ｄパラメータ化９０におけるよりも出力２Ｄパラメータ化９２において少ない。
図１０は、２Ｄパラメータ化９０に対応することができ、出力２Ｄパラメータ化９２、およびサンプリングマッピング演算子ＳＭＯ９１の逆数に対応するサンプリングマッピング演算子ＳＭＯ−１１０１に由来して行われる画像１００の再構成を示している。２Ｄパラメータ化９２を表すデータ（すなわち、２Ｄパラメータ化を形成するサンプル／画素に関連付けられるデータ、例えば２Ｄパラメータ化に関連付けられる深度マップまたはテクスチャマップに格納されているデータ）は、ＳＭＯ９１と一緒にネットワークを介して、例えばビットストリームで、２Ｄパラメータ化１００を表すデータを復号および生成するように構成された復号器に送信されている可能性がある。
サンプリングマッピング演算子を生成する方法の例は、２０１７年５月４日に出願された欧州特許出願第ＥＰ１７３０５５０４．７号に記載されている。
図１１は、本原理の非限定的な実施形態による図３の３Ｄ表現３０、３１のような３Ｄシーンの３Ｄ表現を表すデータを符号化および復号する第１方式を示している。以下に、単一の２Ｄパラメータ化に関連付けられる単一の深度マップおよび単一のテクスチャマップに関して説明される。当然のことながら、同じ処理が複数の２Ｄパラメータ化および関連付けられる深度マップおよびテクスチャマップに適用される。
図１１は、深度マップおよびテクスチャマップをビットストリームに符号化するように構成される符号化器１１１、および深度マップおよびテクスチャマップを符号化器１１１で取得されるビットストリームから復号するように構成された復号器１１２を示している。符号化器１１１は、深度マップおよびテクスチャマップのブロックを符号化するときにどの量子化ステップを使用することができるかを決定するように適合させる。量子化ステップは、例えばモジュール１１１１において、関連付けられる深度マップおよびテクスチャマップを取得するために使用される３Ｄ表現の部分内の注目領域（ＲＯＩ）（群）の位置を含む顕著性マップから決定することができる。顕著性マップは、例えば３Ｄ表現の考慮対象部分から取得されるＲＯＩマスクを、深度マップおよびテクスチャマップに関連付けられる２Ｄパラメータ化に投影することにより取得される。ＱＰマップ（量子化パラメータマップ）は、顕著性マップから導出することができ、ＱＰマップは、例えばどの量子化ステップ値を、各ブロック（深度マップおよびテクスチャマップの）を符号化するために使用する必要があるかを示している。例えば、第１量子化パラメータ値（例えば、０に近い微小値）は、ＲＯＩを含む２Ｄパラメータ化のエリア（または、深度マップおよびテクスチャマップのエリアと同等の）に属する画素ブロックに使用することができ、第２量子化パラメータ値（第１量子化パラメータ値よりも大きい）は、ＲＯＩを含まない２Ｄパラメータ化のエリア（または、深度マップおよびテクスチャマップのエリアと同等の）に属する画素ブロックに使用することができる。ＲＯＩを小さな量子化パラメータで符号化することにより、３Ｄ表現を符号化ビットストリームから再構成するときに、より良好な精度および品質を取得することができる。
量子化パラメータを使用して量子化ステップ（ＱＳ）を、例えば以下の法則：
ＱＳ＝Ｋ．２ＱＰ／６
に従って定義することができ、式中、Ｋは、画素ブロックのサイズに依存するパラメータであり、ＱＰは０〜５１の間で変化することができる。
奥行き情報符号化器１１１２は、深度マップをモジュール１１１１から取得されるＱＰマップに従って符号化する、すなわちＲＯＩに含まれる深度マップの画素ブロックに関連付けられる量子化パラメータ、およびＲＯＩを含まないエリアに含まれる深度マップの画素ブロックに関連付けられる量子化パラメータを使用することにより符号化する。深度マップのデータは、例えばビットストリームの最初のシンタックス要素に、決定されたフォーマットに従って、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ：「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ（汎用オーディオビジュアルサービスの最新ビデオ符号化）」、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、ＩＴＵ−Ｔ Ｈ．２６４勧告、２０１４年２月のＩＴＵのＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（電気通信標準化セクター）に従って符号化される、またはＨＥＶＣ／Ｈ２６５：「ＩＴＵのＩＴＵ−Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ（電気通信標準化セクター）（１０／２０１４）、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（オーディオビジュアルサービスのインフラストラクチャ）−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ（動画の符号化）、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（高効率のビデオ符号化）、ＩＴＵ−Ｔ Ｈ．２６５勧告」に従って符号化される。異なる画素ブロックを符号化するために使用される異なる量子化パラメータに関する情報（例えば、ＱＰは、ＲＯＩにおいて０に等しく、ＱＰは、他の画素ブロックの場合に１２に等しい）は、ビットストリームに、深度マップの符号化データで符号化される。
テクスチャ情報符号化器１１１３は、テクスチャマップを、モジュール１１１１から取得されるＱＰマップに従って符号化する、すなわちＲＯＩに含まれるテクスチャマップの画素ブロックに関連付けられる量子化パラメータ、およびＲＯＩを含まないエリアに含まれるテクスチャマップの画素ブロックに関連付けられる量子化パラメータを使用することにより符号化する。テクスチャマップのデータは、例えばビットストリームの第２シンタックス要素に、決定されたフォーマットに従って符号化される、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ：「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ（汎用オーディオビジュアルサービスの最新ビデオ符号化）」、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、ＩＴＵ−Ｔ Ｈ．２６４勧告、２０１４年２月のＩＴＵのＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（電気通信標準化セクター）に従って符号化される、またはＨＥＶＣ／Ｈ２６５：「ＩＴＵのＩＴＵ−Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ（電気通信標準化セクター）（１０／２０１４）、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（オーディオビジュアルサービスのインフラストラクチャ）−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ（動画の符号化）、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（高効率のビデオ符号化）、ＩＴＵ−Ｔ Ｈ．２６５勧告」に従って符号化される。異なる画素ブロックを符号化するために使用される異なる量子化パラメータに関する情報（例えば、ＱＰは、ＲＯＩにおいて０に等しく、ＱＰは、他の画素ブロックの場合に２５に等しい）は、ビットストリームに、テクスチャマップの符号化データで符号化される。
変形例によれば、ＱＰマップは、ビットストリームの第３シンタックス要素に符号化される。この変形例によれば、深度マップおよびテクスチャマップの異なる画素ブロックを符号化するために使用される異なる量子化パラメータに関する情報は、この情報が復号器１１２により第３シンタックス要素から取り出されるので、第１および第２シンタックス要素に符号化されることがない。
別の任意の変形例によれば、深度マップおよびテクスチャマップのサンプリンググリッドは、ＲＯＩ（図９および図１０に関して説明される）にモジュール１１４において、モジュール１１３によりＲＯＩマスクから取得されるＳＭＯを使用して適合させる／マッピングさせる。この変形例によれば、モジュール１１３および１１４は、符号化器１１１に組み込まれる機能モジュールとすることができる。この変形例によれば、ＱＰカートグラフィ（地図作成）もまた、奥行き情報符号化器およびテクスチャ情報符号化器に送信される前に、深度マップおよびテクスチャマップのサンプリングに適合させる／マッピングさせる。
第１、第２、および第３シンタックス要素を含むビットストリームが生成される。ビットストリームは、２Ｄパラメータ化（深度マップおよびテクスチャマップをシーンの３Ｄ表現から取得するために使用される）を表す１つ以上のパラメータと、２Ｄパラメータ化と深度マップおよびテクスチャマップとの間のマッピングを表す情報と、をさらに含む。
取得されるビットストリームは、ネットワーク（例えば、ＬＡＮ（ローカルエリアネットワーク）またはＷＬＡＮ（ワイヤレスローカルエリアネットワーク）を介して、および／またはインターネットネットワークを介して、例えば復号器１１２に送信することができる。
復号器１１２は、第１シンタックス要素に符号化される深度データを復号するように適合させた奥行き情報復号器１１２１と、第２シンタックス要素に符号化されるテクスチャデータを復号するように適合させたテクスチャ情報復号器１１２２と、を備える。深度マップおよびテクスチャマップの画素ブロックは、これらのブロックの各ブロックに関連付けられる量子化パラメータを使用して復号される（例えば、ＱＰは、画素ブロックがＲＯＩに含まれる場合に０に等しく、ＱＰは、他の画素ブロックの場合に１２に等しい）。復号器１１２１および１１２２は、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ：「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ（汎用オーディオビジュアルサービスの最新ビデオ符号化）」、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、ＩＴＵ−Ｔ Ｈ．２６４勧告、２０１４年２月のＩＴＵのＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（電気通信標準化セクター）に準拠している、またはＨＥＶＣ／Ｈ２６５：「ＩＴＵのＩＴＵ−Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ（電気通信標準化セクター）（１０／２０１４）、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（オーディオビジュアルサービスのインフラストラクチャ）−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ（動画の符号化）、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（高効率のビデオ符号化）、ＩＴＵ−Ｔ Ｈ．２６５勧告」に準拠している。
深度マップおよびテクスチャマップのサンプリンググリッドをＲＯＩマスクに従って適合させている場合、逆サンプリング演算子ＳＭＯ−１がビットストリームから復号され、復号された深度マップおよびテクスチャマップに、例えばモジュール１１５において適用され、モジュール１１５は、シーンの３Ｄ表現を再構成するために復号器１１２に組み込むことができる、または組み込まなくてもよい。
図１２は、本原理の非限定的な実施形態による図３の３Ｄ表現３０、３１のような３Ｄシーンの３Ｄ表現を表すデータを符号化および復号する第２方式を示している。以下に、単一の２Ｄパラメータ化に関連付けられる単一の深度マップおよび単一のテクスチャマップに関して説明される。当然のことながら、同じ処理が複数の２Ｄパラメータ化、および関連付けられる深度マップおよびテクスチャマップに適用される。
図１２は、深度マップおよびテクスチャマップをビットストリームに符号化するように構成される符号化器１２１、および深度マップおよびテクスチャマップを符号化器１２１で取得されるビットストリームから復号するように構成された復号器１２２を示している。符号化器１２１は、テクスチャマップを符号化するように適合させたテクスチャ情報符号化器１２１１を含む。テクスチャマップのデータは、例えばビットストリームの第２シンタックス要素に、決定されたフォーマットに従って符号化される、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ：「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ（汎用オーディオビジュアルサービスの最新ビデオ符号化）」、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、ＩＴＵ−Ｔ Ｈ．２６４勧告、２０１４年２月のＩＴＵのＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（電気通信標準化セクター）に従って符号化される、またはＨＥＶＣ／Ｈ２６５：「ＩＴＵのＩＴＵ−Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ（電気通信標準化セクター）（１０／２０１４）、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（オーディオビジュアルサービスのインフラストラクチャ）−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ（動画の符号化）、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（高効率のビデオ符号化）、ＩＴＵ−Ｔ Ｈ．２６５勧告」に従って符号化される。
符号化テクスチャデータは、符号化器１２１に含まれるテクスチャ情報復号器１２１２に送信され、テクスチャ情報復号器１２１２は、復号器１２２に含まれるテクスチャ情報復号器１２２１と同じである。テクスチャ情報復号器１２１２は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ：「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ（汎用オーディオビジュアルサービスの最新ビデオ符号化）」、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、ＩＴＵ−Ｔ Ｈ．２６４勧告、２０１４年２月のＩＴＵのＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（電気通信標準化セクター）に準拠している、またはＨＥＶＣ／Ｈ２６５：「ＩＴＵのＩＴＵ−Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ（電気通信標準化セクター）（１０／２０１４）、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（オーディオビジュアルサービスのインフラストラクチャ）−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ（動画の符号化）、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（高効率のビデオ符号化）、ＩＴＵ−Ｔ Ｈ．２６５勧告」に準拠している。テクスチャ情報復号器１２１２は、符号化器１２１１で符号化されたテクスチャデータを第２シンタックス要素に復号する。ＲＯＩ検出器１２１３を実現して、テクスチャ情報復号器１２１２で復号されたテクスチャデータを処理して復号されたテクスチャマップ内の注目領域（群）の位置を検出し、復号したＲＯＩマスクは、例えば生成されている。復号したＲＯＩマスクを、テクスチャマップから生成される（符号化前に）ＲＯＩマスクと比較して、ＲＯＩマスクの予測誤差を取得する。ＲＯＩマスクの予測誤差は、例えばビットストリームの第３シンタックス要素に符号化される。
符号化器１２１は、深度マップのデータを、ＲＯＩマスクに従って符号化する、すなわち異なる量子化パラメータで異なる画素ブロックを、画素ブロックがＲＯＩに属するかどうかに応じて符号化することにより符号化するように適合させた奥行き情報符号化器１２１４をさらに含む。深度マップは、ビットストリームの第１シンタックス要素に符号化される。第１シンタックス要素は、データを符号化するために使用される量子化ステップに関する情報を含まない符号化深度マップを表す符号化データのみを含む。
第１、第２、および第３シンタックス要素を含むビットストリームが生成される。ビットストリームは、２Ｄパラメータ化（深度マップおよびテクスチャマップをシーンの３Ｄ表現から取得するために使用される）を表す１つ以上のパラメータと、２Ｄパラメータ化と深度マップおよびテクスチャマップとの間のマッピングを表す情報と、をさらに含む。
取得されたビットストリームは、ネットワーク（例えば、ＬＡＮ（ローカルエリアネットワーク）またはＷＬＡＮ（ワイヤレスローカルエリアネットワーク））を介して、および／またはインターネットネットワークを介して、例えば復号器１２２に送信することができる。
復号器１２２は、第２シンタックス要素に符号化されたテクスチャデータを復号するように適合させた復号器１２２１と、第１シンタックス要素に符号化された深度データを復号するように適合させた奥行き情報復号器１２２３と、を含む。深度マップの画素ブロックは、復号テクスチャマップに適用されるＲＯＩ検出器１２２２から取得されるＲＯＩマスクと組み合わされる第３シンタックス要素に符号化された予測誤差から取得される量子化パラメータを使用して復号される。復号器１２２１および１２２２は、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ：「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ（汎用オーディオビジュアルサービスの最新ビデオ符号化）」、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、ＩＴＵ−Ｔ Ｈ．２６４勧告、２０１４年２月のＩＴＵのＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（電気通信標準化セクター）に準拠している、またはＨＥＶＣ／Ｈ２６５：「ＩＴＵのＩＴＵ−Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ（電気通信標準化セクター）（１０／２０１４）、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（オーディオビジュアルサービスのインフラストラクチャ）−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ（動画の符号化）、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（高効率のビデオ符号化）、ＩＴＵ−Ｔ Ｈ．２６５勧告」に準拠している。
図１２の符号化／復号方式は、ビットストリームで送信される量子化パラメータを記述するデータの量を最適化する、すなわち減らすことを可能にする。予測誤差のみが符号化され、ビットストリーム内で転送される。
第２方式は、テクスチャ情報復号器で復号されるテクスチャデータに適用されるＲＯＩ検出器の例に基づいて説明されており、ＲＯＩマスクの予測誤差は、深度データを復号するために使用されている。同じ方式は、ＲＯＩ検出器を奥行き情報復号器で復号される深度データに適用することにより適用することができ、ＲＯＩマスクの予測誤差は、テクスチャデータを復号するために使用されている。
任意の変形例によれば、テクスチャ情報符号化器１２１１は、テクスチャデータをＲＯＩマスクに従って符号化する、すなわちテクスチャマップの画素ブロックがＲＯＩに属するかどうかに応じて変化する量子化パラメータに従って符号化する。この変形例によれば、量子化パラメータは、テクスチャデータと一緒に符号化することができ、テクスチャ情報復号器１２２１が、それに応じて符号化テクスチャデータを復号することができる。
図１３は、本原理の非限定的な実施形態による図３の３Ｄ表現３０、３１のような３Ｄシーンの３Ｄ表現を表すデータを符号化および復号する第３方式を示している。以下に、単一の２Ｄパラメータ化に関連付けられる単一の深度マップおよび単一のテクスチャマップに関して説明される。当然のことながら、同じ処理が複数の２Ｄパラメータ化および関連付けられる深度マップおよびテクスチャマップに適用される。
図１３は、深度マップおよびテクスチャマップをビットストリームに符号化するように構成される符号化器１３１、および深度マップおよびテクスチャマップを符号化器１３１で取得されるビットストリームから復号するように構成された復号器１３２を示している。深度マップおよびテクスチャマップはまず、ＳＭＯに従って符号化されてサンプリンググリッドをＲＯＩマスクに適合１３３させる。符号化器１３１は、どの量子化パラメータを使用して深度マップおよびテクスチャマップのブロックを符号化することができるかを決定するように適合させたモジュール１３１１を含む。量子化パラメータは、深度マップおよびテクスチャマップのサンプリンググリッドをＲＯＩに従って適合させるために使用されているＳＭＯから決定することができる。例えば、ＳＭＯから、サンプリンググリッドが深度マップまたはテクスチャマップのエリアにおいてより高密度であると決定される場合、このエリアはＲＯＩに対応していると推定することができる。逆に、ＳＭＯから、サンプリングレベルが普通であると、または粗いと決定される場合、このエリアは、ＲＯＩを全く含んでいない深度マップまたはテクスチャマップのエリアに対応していると推定することができる。次に、ＱＰマップは、深度マップおよびテクスチャマップに適用される適応サンプリングを表すパラメータＳＭＯのモジュール１３１１から取得することができる。ＱＰマップは、例えばどの量子化ステップ値を使用して各ブロック（深度マップおよびテクスチャマップの）を符号化する必要があるかを示している。例えば、第１量子化パラメータ値（例えば、０に近い微小値）は、ＲＯＩを含む２Ｄパラメータ化のエリア（または、深度マップおよびテクスチャマップのエリアと同等のエリア）に属する画素ブロックに使用することができ、第２量子化パラメータ値（第１量子化パラメータ値よりも大きい）は、ＲＯＩを含まない２Ｄパラメータ化のエリア（または、深度マップおよびテクスチャマップのエリアと同等のエリア）に属する画素ブロックに使用することができる。例えば、ＲＯＩに含まれる画素ブロックが、０に等しいＱＰで符号化することができるのに対し、ＲＯＩに含まれない画素ブロックは、奥行きの場合に１２に等しく、テクスチャの場合に２５に等しいＱＰで符号化することができる。ＲＯＩを微小量子化パラメータ値で符号化することにより、３Ｄ表現を符号化ビットストリームから再構成する場合に、より良好な精度および品質を取得することができる。
奥行き情報符号化器１３１２は、深度マップを、モジュール１３１１から取得されるＱＰマップに従って符号化する、すなわちＲＯＩに含まれる深度マップの画素ブロックに関連付けられる量子化パラメータ、およびＲＯＩを含まないエリアに含まれる深度マップの画素ブロックに関連付けられる量子化パラメータを使用することにより符号化する。深度マップのデータは、例えばビットストリームの第１シンタックス要素に、決定されたフォーマットに従って符号化される、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ：「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ（汎用オーディオビジュアルサービスの最新ビデオ符号化）」、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、ＩＴＵ−Ｔ Ｈ．２６４勧告、２０１４年２月のＩＴＵのＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（電気通信標準化セクター）に従って符号化される、またはＨＥＶＣ／Ｈ２６５：「ＩＴＵのＩＴＵ−Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ（電気通信標準化セクター）（１０／２０１４）、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（オーディオビジュアルサービスのインフラストラクチャ）−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ（動画の符号化）、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（高効率のビデオ符号化）、ＩＴＵ−Ｔ Ｈ．２６５勧告」に従って符号化される。
テクスチャ情報符号化器１３１３は、テクスチャマップを、モジュール１３１１から取得されるＱＰマップに従って符号化する、すなわちＲＯＩに含まれるテクスチャマップの画素ブロックに関連付けられる量子化パラメータ、およびＲＯＩを含まないエリアに含まれるテクスチャマップの画素ブロックに関連付けられる量子化パラメータを使用することにより符号化する。テクスチャマップのデータは、例えばビットストリームの第２シンタックス要素に、決定されたフォーマットに従って符号化される、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ：「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ（汎用オーディオビジュアルサービスの最新ビデオ符号化）」、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、ＩＴＵ−Ｔ Ｈ．２６４勧告、２０１４年２月のＩＴＵのＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（電気通信標準化セクター）に従って符号化される、またはＨＥＶＣ／Ｈ２６５：「ＩＴＵのＩＴＵ−Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ（電気通信標準化セクター）（１０／２０１４）、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（オーディオビジュアルサービスのインフラストラクチャ）−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ（動画の符号化）、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（高効率のビデオ符号化）、ＩＴＵ−Ｔ Ｈ．２６５勧告」に従って符号化される。
第１および第２シンタックス要素を含むビットストリームが生成される。ビットストリームは、深度マップおよびテクスチャマップに適用される適応サンプリングを表すパラメータＳＭＯを含む第３シンタックス要素をさらに含む。別の例によれば、第３シンタックス要素は、逆パラメータＳＭＯ−１を含み、これらのパラメータは、適応サンプリングマッピングで取得されている深度マップおよびテクスチャマップを逆投影することを可能にする。ビットストリームは、２Ｄパラメータ化（深度マップおよびテクスチャマップをシーンの３Ｄ表現から取得するために使用される）を表す１つ以上のパラメータと、２Ｄパラメータ化と深度マップおよびテクスチャマップとの間のマッピングを表す情報と、をさらに含む。
取得されたビットストリームは、ネットワーク（例えば、ＬＡＮ（ローカルエリアネットワーク）またはＷＬＡＮ（ワイヤレスローカルエリアネットワーク））を介して、および／またはインターネットネットワークを介して、例えば復号器１３２に送信することができる。
復号器１３２は、第１シンタックス要素に符号化された深度データを復号するように適合させた奥行き情報復号器１３２１と、第２シンタックス要素に符号化されたテクスチャデータを復号するように適合させたテクスチャ情報復号器１３２２と、を含む。復号器１３２は、ＱＰマップを第３シンタックス要素に含まれるパラメータから生成するように構成されたモジュール１３２１をさらに含み、モジュール１３２１は、例えばモジュール１３１１と同じである。深度マップおよびテクスチャマップの画素ブロックは、ＱＰマップに含まれ、これらのブロックの各ブロックに関連付けられる量子化パラメータを使用して復号される（例えば、ＱＰは、画素ブロックがＲＯＩに含まれる場合に０に等しく、ＱＰは、他の画素ブロックの場合の奥行き、およびテクスチャのそれぞれに関して１２および２５に等しい）。復号器１３２１および１３２２は、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ：「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ（汎用オーディオビジュアルサービスの最新ビデオ符号化）」、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、ＩＴＵ−Ｔ Ｈ．２６４勧告、２０１４年２月のＩＴＵのＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（電気通信標準化セクター）に準拠している、またはＨＥＶＣ／Ｈ２６５：「ＩＴＵのＩＴＵ−Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ（電気通信標準化セクター）（１０／２０１４）、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ（オーディオビジュアルマルチメディアシステム）、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（オーディオビジュアルサービスのインフラストラクチャ）−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ（動画の符号化）、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（高効率のビデオ符号化）、ＩＴＵ−Ｔ Ｈ．２６５勧告」に準拠している。
次に、復号された深度マップおよびテクスチャマップは、マッピング解除パラメータＳＭＯ−１を使用してマッピング解除１３５されて、深度マップおよびテクスチャマップに関連付けられるシーンの３Ｄ表現を生成することができる。
第３符号化／復号方式により、ビットストリームに符号化されてビットストリームで送信されるデータの量を減らすことができる。実際、深度マップおよびテクスチャマップ内の量子化ステップの変化を記述する追加情報を符号化する必要はないが、この情報が、深度マップおよびテクスチャマップに適用される適応サンプリングマッピングを記述するパラメータＳＭＯまたはＳＭＯ−１から導出されるからである。
ＱＰマップは、多くの方法で取得することができる。例えば、ＱＰマップは、マッピング解除適応サンプリング関数から簡単に導出することができる。符号化ブロックごとに、マッピング解除後の隣接点の間の平均距離を計算することができ、距離がより小さくなると、サンプリング密度がより高くなるので、ブロックがＲＯＩ内に含まれる確率がより高くなる（この場合、パラメトリック表面のサンプリング密度が増加している）。符号化器および復号器は、サンプリング密度範囲をＱＰ値にマッピングして、どの量子化パラメータをサンプリング密度ごとに使用する必要があるかを決定するＬＵＴ（ルックアップテーブル）を必要とするだけである。符号化器および復号器のメモリに格納することができるこのテーブルを送信する必要はない。変形例によれば、テーブルはビットストリームに符号化されて、ビットストリームで送信される。
図１４は、図１８および／または図１９に関連して説明される方法を実現するように構成することができるデバイス１４の例示的なアーキテクチャを示している。デバイス１４は、図１１、図１２、図１３の符号化器１１１、１２１、１３１または復号器１１２、１２２、１３２となるように構成することができる。
デバイス１４は、データおよびアドレスバス１４１により互いにリンクされる以下の要素：
−例えばＤＳＰ（または、デジタルシグナルプロセッサ）であるマイクロプロセッサ１４２（または、ＣＰＵ）、
−ＲＯＭ（または、リードオンリーメモリ）１４３、
−ＲＡＭ（または、ランダムアクセスメモリ）１４４、
−ストレージインターフェース１４５、
−アプリケーションから送信されるデータを受信するＩ／Ｏインターフェース１４６、および
−電源、例えばバッテリを含む。
１つの例によれば、電源はデバイスの外部にある。上記メモリの各メモリでは、本明細書において使用される単語「ｒｅｇｉｓｔｅｒ（レジスタ）」は、小容量のエリア（幾つかのビット）または非常に大きなエリア（例えば、プログラム全体または大量の受信データまたは復号データ）に対応することができる。ＲＯＭ１４３は、少なくとも１つのプログラムおよびパラメータ群を含む。ＲＯＭ１４３は、本原理による技法を実行するアルゴリズムおよび命令を格納することができる。オンに切り替わると、ＣＰＵ１４２は、ＲＡＭのプログラムをアップロードして、対応する命令を実行する。
ＲＡＭ１４４は、レジスタに、ＣＰＵ１４２により実行され、デバイス１４０がオンに切り替わった後にアップロードされるプログラムを含み、入力データをレジスタに含み、方法の異なる状態の中間データをレジスタに含み、方法を実行するために使用される他の変数をレジスタに含む。
本明細書において説明される実施態様は、例えば方法またはプロセス、装置、コンピュータプログラム製品、データストリーム、または信号で実現することができる。単一形態の実施態様の状況でしか説明されていない（例えば、方法またはデバイスとしてのみ説明されている）場合でも、説明される特徴の実施態様は、他の形態（例えば、プログラム）で実現されてもよい。装置は、例えば適切なハードウェア、ソフトウェア、およびファームウェアで実現することができる。これらの方法は、例えば装置で実現することができ、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイスを広く指すプロセッサで実現することができる。プロセッサは、通信デバイスも含み、例えばコンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタンス（「ＰＤＡ」）、およびエンドユーザ間の情報の伝達を容易にする他のデバイスも含む。
符号化手段または符号化器１１１、１２１、１３１の例によれば、３次元シーン１０はソースから取得される。例えば、ソースは：
−ローカルメモリ（１４３または１４４）、例えばビデオメモリまたはＲＡＭ（または、ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（または、リードオンリーメモリ）、ハードディスク、
−ストレージインターフェース（１４５）、例えば大容量ストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気サポートとのインターフェース、
−通信インターフェース（１４６）、例えば有線インターフェース（例えば、バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース）またはワイヤレスインターフェース（ＩＥＥＥ ８０２．１１インターフェースまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースのような）、および
−ユーザによるデータ入力を可能にするグラフィカルユーザインターフェースのようなユーザインターフェースを含む集合に属する。
復号手段または復号器（群）１１２、１２２、１３２の例によれば、ストリームは宛先に送信される、具体的には、宛先は：
−ローカルメモリ（１４３または１４４）、例えばビデオメモリまたはＲＡＭ、フラッシュメモリ、ハードディスク、
−ストレージインターフェース（１４５）、例えば大容量ストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気サポートとのインターフェース、および
−通信インターフェース（１４６）、例えば有線インターフェース（例えば、バスインターフェース（例えば、ＵＳＢ（または、ユニバーサルシリアルバス）））、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース、ＨＤＭＩ（高精細マルチメディアインターフェース）（登録商標）インターフェース）またはワイヤレスインターフェース（ＩＥＥＥ ８０２．１１インターフェース、ＷｉＦｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースのような）を含む集合に属する。
符号化手段または符号化器の例によれば、ボリュメトリックシーンを表すデータを含むビットストリームが宛先に送信される。１つの例として、ビットストリームは、ローカルメモリまたはリモートのメモリ、例えばビデオメモリまたはＲＡＭ、ハードディスクに格納される。変形例では、ビットストリームは、ストレージインターフェース、例えば大容量ストレージ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気サポートとのインターフェースに送信される、および／または通信インターフェース、例えばポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク、または放送ネットワークとのインターフェースを介して送信される。
復号手段または復号器またはレンダラーの例によれば、ビットストリームはソースから取得される。例えば、ビットストリームは、ローカルメモリ、例えばビデオメモリ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、またはハードディスクから読み取られる。変形例では、ビットストリームは、ストレージインターフェース、例えば大容量ストレージ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク、または磁気サポートとのインターフェースから受信される、および／または通信インターフェース、例えばポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク、または放送ネットワークとのインターフェースから受信される。
例によれば、デバイス１４は、図１７および／または図１８に関連して説明される方法を実現するように構成され：
−モバイルデバイス、
−通信デバイス、
−ゲームデバイス、
−タブレット（または、タブレットコンピュータ）、
−ラップトップ、
−静止画カメラ、
−ビデオカメラ、
−符号化チップ、
サーバ（例えば、ブロードキャストサーバ、ビデオオンデマンドサーバ、またはウェブサーバ）を含む集合に属する。
図１５に示す例によれば、通信ネットワークＮＥＴ１５０を介した２つのリモートデバイス（装置１４のタイプの）１５１と１５２との間の送信状況では、デバイス１５１は、図１１、図１２、図１３、および／または図１７に関連して説明されるデータを符号化する方法を実現するように構成される手段を含み、デバイス１５２は、図１１、図１２、図１３、および／または図１８に関連して説明される符号化方法を実行するように構成される手段を含む。
１つの例によれば、ネットワーク１５０は、静止画または動画を関連するオーディオ情報と一緒にデバイス１５１からデバイス１５２を含む復号デバイス／レンダリングデバイスに放送するように適合させたＬＡＮまたはＷＬＡＮネットワークである。
追加の例によれば、ネットワークは、符号化されたポイントクラウド（群）をデバイス１５１からデバイス１５２を含む復号デバイスに放送するように適合させた放送ネットワークである。
デバイス１５１により送信されるようにした信号が、ビットストリーム１６を伝送する。
図１６は、データがパケット中継伝送プロトコルを介して送信される場合のこのような信号のシンタックスの１つの実施形態の例を示している。図１６は、ボリュメトリックコンテンツストリームの例示的な構造１６を示している。構造は、個別のシンタックス要素のストリームを編成するコンテナで構成される。
この構造は、ストリームの全てのシンタックス要素に共通するデータ集合であるヘッダー部１６１を含むことができる。例えば、ヘッダー部は、シンタックス要素に関するメタデータを含み、シンタックス要素群の各シンタックス要素の性質および役割を記述している。
構造は、シンタックス要素１６２〜１６６を含むペイロードを含むことができる。第１シンタックス要素１６２は、例えば２Ｄパラメータ化を定義するパラメータに関連する。第２シンタックス要素１６３は、例えば深度マップ（群）を表すデータに関連する。第３シンタックス要素１６４は、例えばテクスチャマップ（群）を表すデータに関連する。第４シンタックス要素１６５は、例えば量子化パラメータまたは量子化ステップに関する情報に関連する。第５シンタックス要素１６６は、例えば２Ｄパラメータ化と対応する深度マップおよびテクスチャマップとの間のマッピングに関する情報に関連する。
説明目的の場合、ＩＳＯＢＭＦＦファイルフォーマット規格の状況では、テクスチャマップ、深度マップ、およびメタデータは通常、タイプ「ｍｏｏｖ」のボックスのＩＳＯＢＭＦＦトラックで参照され、テクスチャマップデータおよび深度マップデータ自体がタイプ「ｍｄａｔ」のメディアデータボックスに埋め込まれる。
図１７は、本原理の非限定的な実施形態によるシーンの３Ｄ表現、例えば３Ｄシーン１０を表すデータを符号化する方法を示している。この方法は、例えば符号化器１１１、１２１、１３１、および／またはデバイス１４で実現することができる。デバイス１４の異なるパラメータは更新することができる。３Ｄ表現は、例えばソースから取得することができ、１つ以上の視点は、３Ｄシーンの空間内に決定することができ、投影マッピング（群）に関連付けられるパラメータは初期化することができる。
第１操作１７１では、１つ以上の深度マップを生成し、各深度マップはシーンの３Ｄ表現の部分に関連付けられる。深度マップは各々、３Ｄ表現の１つの部分に各々関連付けられる２Ｄパラメータ化のパラメータ（群）から生成され、２Ｄパラメータ化の関連付け先の３Ｄ表現の部分に含まれる点群に関連付けられる幾何学的情報から生成される。各深度マップは、例えば第１パッチアトラスのパッチに対応することができ、３Ｄ表現の１つの部分の１つの２Ｄパラメータ化に関連付けられる。３Ｄ表現の部分に関連付けられる２Ｄパラメータ化は、当該部分に含まれる点群に関連付けられる幾何学データから取得される暗黙的な３Ｄ表面の２Ｄ画素／サンプル表現であり、シーンの空間内の２Ｄパラメータ化の位置、および２Ｄパラメータ化に関連付けられる視点の位置は、３Ｄ表現が視点範囲で見られる場合の視点範囲に関連付けられる姿勢情報に従っている。２Ｄパラメータ化は、３Ｄ表現で表されるシーンの表面と視点範囲との間にあるように位置付けられる、すなわち２Ｄパラメータ化で取得される２Ｄ表面が、２Ｄ表面の関連付け先の部分に対向するように位置付けられる。１つ以上の２Ｄパラメータ化を、部分ごとに生成するか、または３Ｄ表現のみの１個の部分の構成部分ごとに生成する。変形例によれば、単一の２Ｄパラメータ化を、３Ｄ表現全体に関して生成する。データが深度マップの画素に関連付けられる場合、このデータは、距離情報または奥行き情報に対応する。
第２操作１７２では、１つ以上のテクスチャマップを生成し、各テクスチャマップは、シーンの３Ｄ表現の部分に関連付けられる。テクスチャマップは、３Ｄ表現の１つの部分に各々関連付けられる２Ｄパラメータ化のパラメータから生成され、２Ｄパラメータ化の関連付け先の３Ｄ表現の部分に含まれる点群に関連付けられるテクスチャ情報／カラー情報から生成される。各テクスチャマップは、例えば第２パッチアトラスのパッチに対応することができ、３Ｄ表現の１つの部分の１つの２Ｄパラメータ化に関連付けられる。テクスチャマップの画素に関連付けられるデータは、カラー（例えば、赤、緑、青、またはシアン、マゼンタ、イエロー、ブラック）情報に対応することができる。
第３操作１７３では、深度マップおよび／またはテクスチャマップを符号化するために使用される量子化ステップの変化を表す第１情報を取得する、例えばストレージデバイスから取り出す、または図１１、図１２、および／または図１３に関して説明される通りに決定する。量子化ステップは、深度マップ内および／またはテクスチャマップ内で３Ｄ表現の対応する部分に含まれる注目領域（群）に従って変化することができる。
第４操作では、少なくとも１つの深度マップをビットストリームの第１シンタックス要素に符号化し、少なくとも１つのテクスチャマップをビットストリームの第２シンタックス要素に符号化し、少なくとも１つのパラメータを第３シンタックス要素に符号化し、第１情報を第４シンタックス要素に符号化し、２Ｄパラメータ化（群）と対応する深度マップ（群）およびテクスチャマップ（群）との間のマッピングを表す第２情報をビットストリームの第５シンタックス要素に符号化する。
図１８は、本原理の非限定的な実施形態によるシーン、例えば３Ｄシーン１０の３Ｄ表現を表すデータを復号する方法を示している。この方法は、例えば復号器１１２、１２２、１３２、および／またはデバイス１４で実現することができる。
第１操作１８１では、３Ｄ表現の少なくとも１つの部分の少なくとも１つの２次元パラメータ化を表す少なくとも１つのパラメータを受信ビットストリームから復号する。
第２操作１８２では、３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つのテクスチャマップを表すデータをビットストリームから復号する。
第３操作１８３では、３Ｄ表現の少なくとも１つの部分に関連付けられる少なくとも１つの深度マップを表すデータをビットストリームから復号する。
第４操作１７４では、当該３Ｄ表現の少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータを、少なくとも１つのパラメータ、テクスチャマップ（群）を表すデータ、深度マップ（群）を表すデータ、ビットストリームから取得され、深度マップ（群）および／またはテクスチャマップ（群）内の量子化ステップの変化を表す第１情報、ならびにビットストリームから取得され、２Ｄパラメータ化（群）と対応する深度マップおよびテクスチャマップとの間のマッピングを表す第２情報から決定する。
当然のことながら、本開示は、これまで説明してきた実施形態に限定されない。
具体的には、本開示は、３Ｄシーンを表すデータを符号化／復号する方法およびデバイスに限定されないだけでなく、符号化データを含むビットストリームを生成する方法、およびこの方法を実現する任意のデバイス、特に少なくとも１つのＣＰＵおよび／または少なくとも１つのＧＰＵを含む任意のデバイスに拡張することもできる。
本開示はまた、ビットストリームの復号データからレンダリングされる画像を表示する方法（および、画像を表示するように構成されるデバイス）に関する。
本開示はまた、ビットストリームを送信および／または受信する方法（および、送信および／または受信するように構成されるデバイス）に関する。
本明細書において説明される実施態様は、例えば方法またはプロセス、装置、コンピュータプログラム製品、データストリーム、または信号で実現することができる。単一の形態の実施態様の状況でのみ説明される（例えば、方法またはデバイスとしてのみ説明される）場合でも、説明される特徴の実施態様は、他の形態（例えば、プログラム）で実現することもできる。装置は、例えば適切なハードウェア、ソフトウェア、およびファームウェアで実現することができる。例えば、これらの方法は、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイスを広く指す、例えばプロセッサのような装置で実現することができる。プロセッサは、例えばスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、およびエンドユーザ間の情報の伝達を容易にする他のデバイスのような通信デバイスも含む。
本明細書において説明される様々なプロセスおよび特徴の実施態様は、多種多様な異なる機器または用途において具体化することができる、具体的には、例えばデータ符号化、データ復号、ビュー生成、テクスチャ処理、および他の画像処理、ならびに関連するテクスチャ情報および／または奥行き情報に関連付けられる機器または用途において具体化することができる。このような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサ、入力を符号化器に供給するプリプロセッサ、ビデオ符号化器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、および他の通信デバイスを含む。明らかである必要があるが、機器は、可搬式とすることができ、移動車両にさえ搭載することができる。
また、方法は、プロセッサにより実行される命令で実現することができ、このような命令（および／または、実施態様により生成されるデータ値）は、例えば集積回路、ソフトウェア担体のようなプロセッサ可読媒体に格納する、または例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）またはデジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ）と表記される場合が多いＤＶＤのような）、ランダムアクセスメモリ（「ＲＡＭ」）、またはリードオンリーメモリ（「ＲＯＭ」）のような他のストレージデバイスに格納することができる。命令は、プロセッサ可読媒体に有形に具体化されるアプリケーションプログラムを形成することができる。命令は、例えばハードウェア、ファームウェア、ソフトウェア、または組み合わせで行うことができる。命令は、例えばオペレーティングシステム、個別アプリケーション、またはこれらの２つの組み合わせに見出すことができる。したがって、プロセッサは、例えばプロセスを実行するように構成されたデバイス、およびプロセスを実行する命令を有するプロセッサ可読媒体（ストレージデバイスのような）を含むデバイスの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令の他に、または命令の代わりに、実施態様により生成されるデータ値を格納することができる。
当業者には明らかであるように、実施態様は、情報を伝達するようにフォーマットされる多種多様な信号を生成することができ、この情報は、例えば格納または送信することができる。情報は、例えば方法を実行する命令、または説明される実施態様のうちの１つにより生成されたデータを含むことができる。例えば、信号は、データとして、説明される実施形態のシンタックスを書き込む、または読み出すルールを伝達するようにフォーマットすることができる、またはデータとして、説明される実施形態より記述された実際のシンタックス値を伝達するようにフォーマットすることができる。このような信号は、例えば電磁波としてフォーマットする（例えば、スペクトルの無線周波数部分を使用して）ことができる、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えばデータストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が伝達する情報は、例えばアナログ情報またはデジタル情報とすることができる。信号は、既知の如く、多種多様な異なる有線リンクまたは無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に格納することができる。
多数の実施態様が説明されている。それにもかかわらず、様々な変更を行うことができることを理解されたい。例えば、異なる実施態様の要素は、他の実施態様を生成するために組み合わせる、補足する、変更する、または削除することができる。また、当業者であれば、他の構造およびプロセスは、開示される構造およびプロセスに替えて用いることができ、結果として得られる実施態様が、少なくとも実質的に同じ機能（群）を、少なくとも実質的に同じ方法（群）で実行して、開示される実施態様と少なくとも実質的に同じ結果（群）を達成することを理解するであろう。したがって、これらの実施態様および他の実施態様は、本出願により想到される。

Claims (15)

  1. シーンの３Ｄ表現を表すデータをビットストリームに符号化する方法であって、前記３Ｄ表現は視点範囲に従っており、前記方法は、
    −前記３Ｄ表現の少なくとも１つの部分に関連付けられる深度マップを、前記少なくとも１つの部分に関連付けられる２次元パラメータ化を表す少なくとも１つのパラメータおよび前記少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータに従って決定することであって、前記少なくとも１つの２次元パラメータ化は、前記少なくとも１つの点に関連付けられる幾何学的情報、および前記視点範囲に関連付けられる姿勢情報に応じていることと、
    −前記少なくとも１つの部分に関連付けられるテクスチャマップを前記少なくとも１つの部分に含まれる前記少なくとも１つの点に関連付けられる前記少なくとも１つのパラメータおよびデータに従って決定することと、
    −前記深度マップおよび／または前記テクスチャマップ内の量子化パラメータの変化を表す第１情報を、前記３Ｄ表現の注目領域に従って取得することと、
    −前記ビットストリームに、前記深度マップ、前記テクスチャマップ、前記少なくとも１つのパラメータ、前記第１情報、および前記２次元パラメータ化と、対応する深度マップおよびテクスチャマップとの間のマッピングを表す第２情報を符号化することと、を含む、方法。
  2. シーンの３Ｄ表現を表すデータをビットストリームに符号化するように構成されるデバイスであって、前記３Ｄ表現は視点範囲に従っており、前記デバイスは、少なくとも１つのプロセッサに関連付けられるメモリを含み、前記少なくとも１つのプロセッサは、
    −前記３Ｄ表現の少なくとも１つの部分に関連付けられる深度マップを、前記少なくとも１つの部分に関連付けられる２次元パラメータ化を表す少なくとも１つのパラメータおよび前記少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータに従って決定し、前記２次元パラメータ化は、前記少なくとも１つの点に関連付けられる幾何学的情報、および前記視点範囲に関連付けられる姿勢情報に応じており、
    −前記少なくとも１つの部分に関連付けられるテクスチャマップを前記少なくとも１つの部分に含まれる前記少なくとも１つの点に関連付けられる前記少なくとも１つのパラメータおよびデータに従って決定し、
    −前記深度マップおよび／または前記テクスチャマップ内の量子化パラメータの変化を表す第１情報を、前記３Ｄ表現の注目領域に従って取得し、
    −前記ビットストリームに、前記深度マップ、前記テクスチャマップ、前記少なくとも１つのパラメータ、前記第１情報、および前記２次元パラメータ化と、対応する深度マップおよびテクスチャマップとの間のマッピングを表す第２情報を符号化するように構成される、デバイス。
  3. 前記深度マップおよび／または前記テクスチャマップは、前記第１情報に従って符号化される、請求項１に記載の方法または請求項２に記載のデバイス。
  4. 前記第１情報は、前記少なくとも１つの注目領域に関連付けられる予測誤差に対応する、請求項１に記載の方法または請求項２に記載のデバイス。
  5. 前記第１情報は、前記２Ｄパラメータ化のサンプリングを表す情報に対応しており、第１サンプリングレベルは、前記少なくとも１つの注目領域に関連付けられる前記２Ｄパラメータ化の少なくとも１つのエリアに適用され、第２サンプリングレベルは、前記２Ｄパラメータ化の他のエリアに適用される、請求項１もしくは３に記載の方法または請求項２もしくは３に記載のデバイス。
  6. シーンの３Ｄ表現を表すデータを伝達するストリームであって、前記３Ｄ表現は視点範囲に従っており、前記データは、
    −前記３Ｄ表現の少なくとも１つの部分の２次元パラメータ化を表す少なくとも１つのパラメータであって、前記少なくとも１つのパラメータが、前記少なくとも１つの部分の少なくとも１つの点に関連付けられる幾何学的特徴および前記視点範囲に関連付けられる姿勢情報に従って取得される、前記少なくとも１つのパラメータと、
    −前記少なくとも１つの部分に関連付けられ、前記少なくとも１つの部分に含まれる前記少なくとも１つの点に関連付けられる前記少なくとも１つのパラメータおよびデータから決定されるテクスチャマップを表すデータと、
    −前記３Ｄ表現の前記少なくとも１つの部分に関連付けられ、前記少なくとも１つの部分に含まれる前記少なくとも１つの点に関連付けられる少なくとも１つのパラメータおよびデータから決定される深度マップを表すデータと、
    −前記３Ｄ表現の注目領域に従った前記深度マップおよび／または前記テクスチャマップ内の量子化パラメータの変化を表す第１情報と、
    −前記２次元パラメータ化と、対応する深度マップおよびテクスチャマップとの間のマッピングを表す第２情報と、を含む、ストリーム。
  7. 前記深度マップおよび／または前記テクスチャマップを表す前記データは、前記第１情報に従って符号化される、請求項６に記載のストリーム。
  8. 前記第１情報は、前記注目領域に関連付けられる予測誤差に対応する、請求項６に記載のストリーム。
  9. 前記第１情報は、前記２Ｄパラメータ化のサンプリングを表す情報に対応しており、第１サンプリングレベルは、前記注目領域に関連付けられる前記２Ｄパラメータ化の少なくとも１つのエリアに適用され、第２サンプリングレベルは、前記２Ｄパラメータ化の他のエリアに適用される、請求項６または７に記載のストリーム。
  10. シーンの３Ｄ表現を表すデータをビットストリームから復号する方法であって、前記３Ｄ表現は視点範囲に従っており、前記方法は、
    −前記ビットストリームから、前記３Ｄ表現の少なくとも１つの部分の２次元パラメータ化を表す少なくとも１つのパラメータを復号することと、
    −前記ビットストリームから、３Ｄ表現の前記少なくとも１つの部分に関連付けられるテクスチャマップを表すデータを復号することと、
    −前記ビットストリームから、前記３Ｄ表現の前記少なくとも１つの部分の深度マップを表すデータを復号することと、
    −前記３Ｄ表現の前記少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータを、前記少なくとも１つのパラメータ、前記テクスチャマップを表す前記データ、前記深度マップを表す前記データ、前記ビットストリームから取得され、前記深度マップおよび／または前記テクスチャマップ内の量子化パラメータの変化を表す第１情報、および前記ビットストリームから取得され、前記２次元パラメータ化と、対応する深度マップおよびテクスチャマップとの間のマッピングを表す第２情報から決定することと、を含む、方法。
  11. シーンの３Ｄ表現を表すデータをビットストリームから復号するように構成されるデバイスであって、前記３Ｄ表現は視点範囲に従っており、前記デバイスは、少なくとも１つのプロセッサに関連付けられるメモリを含み、前記少なくとも１つのプロセッサは、
    −前記ビットストリームから、前記３Ｄ表現の少なくとも１つの部分の２次元パラメータ化を表す少なくとも１つのパラメータを復号し、
    −前記ビットストリームから、前記３Ｄ表現の前記少なくとも１つの部分に関連付けられるテクスチャマップを表すデータを復号し、
    −前記ビットストリームから、前記３Ｄ表現の前記少なくとも１つの部分に関連付けられる深度マップを表すデータを復号し、
    −前記３Ｄ表現の前記少なくとも１つの部分に含まれる少なくとも１つの点に関連付けられるデータを、前記少なくとも１つのパラメータから決定し、前記テクスチャマップを表す前記データ、前記深度マップを表す前記データ、前記ビットストリームから取得され、前記深度マップおよび／または前記テクスチャマップ内の量子化パラメータの変化を表す第１情報、および前記ビットストリームから取得され、前記２次元パラメータ化と、対応する深度マップおよびテクスチャマップとの間のマッピングを表す第２情報から決定するように構成される、デバイス。
  12. 前記深度マップおよび／または前記テクスチャマップは、前記第１情報に従って復号される、請求項１０に記載の方法または請求項１１に記載のデバイス。
  13. 前記第１情報は、前記少なくとも１つの注目領域に関連付けられる予測誤差に対応する、請求項１０に記載の方法または請求項１１に記載のデバイス。
  14. 前記第１情報は、前記２Ｄパラメータ化のサンプリングを表す情報に対応しており、第１サンプリングレベルは、前記注目領域に関連付けられる前記２Ｄパラメータ化の少なくとも１つのエリアに適用され、第２サンプリングレベルは、前記２Ｄパラメータ化の他のエリアに適用される、請求項１０もしくは１２に記載の方法または請求項１１もしくは１２に記載のデバイス。
  15. プロセッサに、少なくとも請求項１に記載の方法のステップおよび／または少なくとも請求項１０に記載の方法のステップを実行させる命令を格納する非一時的なプロセッサ可読媒体。
JP2020524625A 2017-11-07 2018-10-23 ボリュメトリックビデオを符号化／復号する方法、装置、およびストリーム Withdrawn JP2021502033A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306538.4 2017-11-07
EP17306538.4A EP3481067A1 (en) 2017-11-07 2017-11-07 Method, apparatus and stream for encoding/decoding volumetric video
PCT/US2018/057035 WO2019094184A1 (en) 2017-11-07 2018-10-23 Method, apparatus and stream for encoding/decoding volumetric video

Publications (2)

Publication Number Publication Date
JP2021502033A true JP2021502033A (ja) 2021-01-21
JP2021502033A5 JP2021502033A5 (ja) 2021-11-25

Family

ID=60409248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020524625A Withdrawn JP2021502033A (ja) 2017-11-07 2018-10-23 ボリュメトリックビデオを符号化／復号する方法、装置、およびストリーム

Country Status (6)

Country Link
US (1) US20210176496A1 (ja)
EP (2) EP3481067A1 (ja)
JP (1) JP2021502033A (ja)
CN (1) CN111557094A (ja)
MX (1) MX2020004720A (ja)
WO (1) WO2019094184A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259632A1 (ja) * 2021-06-10 2022-12-15 ソニーグループ株式会社 情報処理装置及び情報処理方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11956478B2 (en) * 2019-01-09 2024-04-09 Tencent America LLC Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
CN113785590A (zh) * 2019-05-10 2021-12-10 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
US11432009B2 (en) * 2019-07-02 2022-08-30 Intel Corporation Techniques for encoding and decoding immersive video
JP7354417B2 (ja) * 2019-08-16 2023-10-02 グーグル エルエルシー ビデオ通話用の顔ベースのフレームパッキング
WO2021117859A1 (ja) * 2019-12-13 2021-06-17 ソニーグループ株式会社 画像処理装置および方法
CN115066902A (zh) * 2020-03-25 2022-09-16 索尼集团公司 图像处理装置和方法
WO2021211173A1 (en) * 2020-04-13 2021-10-21 Intel Corporation Texture based immersive video coding
US11838485B2 (en) * 2020-04-16 2023-12-05 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
US20230196700A1 (en) * 2020-05-26 2023-06-22 Sony Group Corporation Image processing apparatus and image processing method
US11924428B2 (en) 2020-06-24 2024-03-05 Qualcomm Incorporated Scale factor for quantization parameter values in geometry-based point cloud compression
WO2022073796A1 (en) * 2020-10-08 2022-04-14 Interdigital Ce Patent Holdings, Sas A method and apparatus for adapting a volumetric video to client devices

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2636222A1 (en) * 2010-11-04 2013-09-11 Koninklijke Philips Electronics N.V. Generation of depth indication maps
KR101737595B1 (ko) * 2012-12-27 2017-05-18 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259632A1 (ja) * 2021-06-10 2022-12-15 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
WO2019094184A1 (en) 2019-05-16
EP3481067A1 (en) 2019-05-08
MX2020004720A (es) 2020-08-13
CN111557094A (zh) 2020-08-18
EP3707901A1 (en) 2020-09-16
US20210176496A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
JP7241018B2 (ja) 没入型ビデオフォーマットのための方法、装置、及びストリーム
CN111615715B (zh) 编码/解码体积视频的方法、装置和流
JP2021502033A (ja) ボリュメトリックビデオを符号化／復号する方法、装置、およびストリーム
EP3249922A1 (en) Method, apparatus and stream for immersive video format
US11647177B2 (en) Method, apparatus and stream for volumetric video format
EP3562159A1 (en) Method, apparatus and stream for volumetric video format
US20190251735A1 (en) Method, apparatus and stream for immersive video format
WO2019191202A1 (en) Method, apparatus and stream for volumetric video format

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20211019