JP2022502892A - ３ｄ点を符号化／再構築するための方法およびデバイス - Google Patents

Abstract

本実施形態は、ジオメトリがジオメトリ画像によって表され、属性が属性画像によって表される３Ｄ点を符号化するための方法に関する。この方法は、第１のジオメトリ画像内のピクセルの深度値と、第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値が同じでない（同一の値ではない）かどうかをチェックする。前記第１のジオメトリ画像内のピクセルの深度値と、前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値が同じでない場合、この方法は、前記第１のジオメトリ画像内の前記ピクセルの２Ｄ空間座標および第２のジオメトリ画像内の前記同じ場所に位置するピクセルの深度値から定義された３Ｄ点の属性を割り当てる（符号化する）。【選択図】図１

Description

本実施形態は、概して、３Ｄ点のコード化および再構築に関する。特に、限定的ではないが、本実施形態の技術分野は、３Ｄオブジェクトの外部表面を表す点群の符号化／再構築に関する。

本節は、技術分野の様々な態様を読者に紹介することを意図しており、これらは以下に説明および／または特許請求する本実施形態の様々な態様に関連し得る。この考察は、本実施形態の様々な態様のより良い理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、この観点から読み取られるべきであり、先行技術を容認したものとして読み取られるべきではないということを理解されたい。

点群は、何らかの座標系のデータ点のセットである。３次元座標系（３Ｄ空間）では、これらの点は通常、３Ｄオブジェクトの外部表面を表すことが意図されている。点群の各点は、その位置（３Ｄ空間でのＸ、Ｙ、Ｚ座標）によって、場合によっては、例えば、ＲＧＢまたはＹＵＶ色空間で表される色、透明度、反射率、２成分法線ベクトルなどの他の関連付けられる属性によって定義されることが多い。

通常、点群を６成分点（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）または同等の（Ｘ、Ｙ、Ｚ、Ｙ、Ｕ、Ｖ）のセットとして表し、ここで、（Ｘ、Ｙ、Ｚ）は３Ｄ空間における色付きの点の座標を定義し、（Ｒ、Ｇ、Ｂ）または（Ｙ、Ｕ、Ｖ）はこの色付きの点の色を定義する。

点群は、群が時間に関して発展するか否かに応じて、静的または動的であり得る。動的な点群の場合、点の数は一定ではなく、むしろ、一般に時間とともに発展する。したがって、動的な点群は、点のセットの時間順のリストである。

実際には、点群は、文化遺産／建築物など、様々な目的に使用でき、彫像または建築物などのオブジェクトを３Ｄでスキャンして、オブジェクトを送信することまたは訪問することなく、オブジェクトの空間構成を共有する。また、例えば、オブジェクトが破壊される、例えば、地震によって寺院が破壊されることがある場合に、オブジェクトの知識を確実に保存する方法である。このような点群は通常、静的で、色付きで、巨大である。

別の使用例は、地形学および地図作成におけるものであり、３Ｄ表現を使用することで、地図が平面に限定されず、起伏を含むことができる。現在、Ｇｏｏｇｌｅマップは、３Ｄマップの良い例だが、点群ではなくメッシュを使用している。それでも、点群は３Ｄマップに好適なデータフォーマットである場合があり、そのような点群は通常、静的で、色付きで、巨大である。

自動車産業および自動運転車も、点群が使用され得る領域である。自動運転車は、そのすぐ近くにある現実に基づいて良好な運転判断を行うために、その環境を「探る」ことができて当然である。ＬＩＤＡＲのような典型的なセンサは、意思決定エンジンで使用される動的な点群を生成する。これらの点群は人間が見ることを意図しておらず、典型的には小さく、必ずしも色付けされておらず、高頻度で捕捉されるため動的である。これらは、Ｌｉｄａｒによって提供される反射率のような他の属性を有し得、この属性は、感知されたオブジェクトの材料についての優れた情報であるため、意思決定に役立つ場合がある。

バーチャルリアリティと没入型の世界は最近話題となっており、２Ｄフラットビデオの未来として多くの人が予測している。基本的な考え方は、標準的なテレビに対して、視聴者をその人の周りの全ての環境に没入させることであり、視聴者は自分の前の仮想世界のみを見ることができる。環境における視聴者の自由度に応じて、没入感にはいくつかの段階がある。色付きの点群は、バーチャルリアリティ（またはＶＲ）の世界を配信するのに良好なフォーマットの候補である。それらは静的または動的であり、通常は平均サイズであり、一度に数百万点以下であると言える。

点群圧縮は、ビットストリームのサイズがエンドユーザへの実用的な記憶／送信を可能にするのに十分に小さい場合にのみ、没入型世界に対して３Ｄオブジェクトの記憶／送信に成功する。

許容できる（または好ましくは、非常に良い）体験品質を維持しながら、ビットレートの適度な消費で動的点群をエンドユーザに配信することができることが重要である。これらの動的点群の効率的な圧縮が、没入型世界の配信チェーンを実用的なものにするための重要な点である。

画像ベースの点群圧縮技術は、圧縮効率と低複雑性の組み合わせにより、ますます人気が高まっている。これらは２つの主要なステップ、すなわち、まず、点群、つまり３Ｄ点を少なくとも１つの２Ｄ画像プランに投影（直交投影）する。例えば、少なくとも１つの２Ｄジオメトリ（深度とも称される）画像は点群のジオメトリ、つまり３Ｄ空間における３Ｄ点の空間座標を表し、少なくとも１つの２Ｄ属性（テクスチャとも称される）画像は、点群の３Ｄ点に関連付けられた属性、例えば、それら３Ｄ点に関連付けられたテクスチャ／色情報を表す。次に、これらの技術は、レガシービデオ符号化器を使用して、このようなジオメトリと属性の画像を少なくとも１つのジオメトリと属性のレイヤーに符号化する。

画像ベースの点群圧縮技術は、例えば、ＨＥＶＣ（「ＩＴＵ−Ｔ Ｈ．２６５ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ｓｅｃｔｏｒ ｏｆ ＩＴＵ（１０／２０１４），ｓｅｒｉｅｓ Ｈ：ａｕｄｉｏｖｉｓｕａｌ ａｎｄ ｍｕｌｔｉｍｅｄｉａ ｓｙｓｔｅｍｓ，ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ−ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ，Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｔ Ｈ．２６５」）のような２Ｄビデオ符号化器の性能を活用することによって、良好な圧縮性能を達成し、同時にシンプルな投影スキームを使用して複雑さを低く抑えている。

画像ベースの点群圧縮技術の課題の１つは、特に点分布が多くの折り目（衣服におけるような凹領域／凸領域）を有する表面に従うとき、または点分布が（毛皮または髪のような）表面にまったく従わないときに、点群が画像への投影に好適ではない場合があるということである。これらの状況では、画像ベースの点群圧縮技術は、低い圧縮効率（多くの小さな投影が必要であり、２Ｄビデオ圧縮の効率を低下させる）または低品質（点群を表面に投影することが困難なため）に悩まされる。

この問題を緩和するために最新技術で使用されるアプローチの１つは、多数のジオメトリおよび属性情報を画像内の同じ空間位置に投影することを含む。これは、同じ投影座標（ピクセルの同じ２Ｄ空間座標）を有する点群の３Ｄ点ごとに、いくつかのジオメトリおよび／または属性画像が生成され得ることを意味する。

これは、例えば、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ２０１８／Ｎ１７７６７、リュブリャナ、２０１８年７月（付録Ａ）に定義されているような、いわゆるテストモデルカテゴリ２点群符号化器（ＴＭＣ２）の場合であり、点群は投影面に直交投影される。次いで、前記投影面の座標ごとに２つのジオメトリ画像が生成され、１つは最も近い点に関連付けられた深度値（最小深度値）を表し、もう１つは最も遠い点の深度値（最大深度値）を表す。次に、第１のジオメトリ画像が最小深度値（Ｄ０）から生成され、第２のジオメトリ画像が最大深度値（Ｄ１）の絶対値から生成され、Ｄ１−Ｄ０は最大表面厚さ以下である。第１および第２の属性画像もまた、第１（Ｄ０）および第２（Ｄ１）のジオメトリ画像に関連付けて生成される。次に、属性画像とジオメトリ画像の両方が、ＨＥＶＣなどのレガシービデオコーデックを使用して符号化および復号化される。したがって、点群のジオメトリは、復号化された第１および第２のジオメトリ画像に含まれる情報の逆投影によって再構築され、属性は、復号化された属性画像に含まれる情報からの再構築された３Ｄに関連付けられる。

２つのジオメトリ（および２つの属性）値を捕捉することの欠点は、２つの３Ｄ点が２つのジオメトリ画像から系統的に再構築され、第１のジオメトリ画像内のピクセルの深度値が第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値と等しい場合には、二重の再構築された３Ｄ点が作られる点である。次に、不要な二重点を符号化することは、符号化された３Ｄ点のセットを送信するためのビットレートを増加させる。さらに、コンピューティングおよび記憶リソースは、そのような偽の二重の３Ｄ点を扱うために、符号化側と復号化側の両方で無駄になる。

以下は、本実施形態のいくつかの態様の基本的な理解を提供するために、本実施形態の簡略化された概要を提示する。この概要は、本実施形態の広範な大要ではない。本実施形態の主要または重要な要素を特定することは意図していない。以下の概要は、以下に提供されるより詳細な説明への前置きとして、本実施形態のいくつかの態様を単純化した形で提示しているにすぎない。

本実施形態は、ジオメトリがジオメトリ画像によって表され、属性が属性画像によって表される３Ｄ点を符号化するための方法および装置を用いて、従来技術の欠点の少なくとも１つを改善することに着手した。前記ジオメトリ画像のうちの第１のジオメトリ画像内のピクセルの深度値と、前記ジオメトリ画像のうちの第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値が同じでない場合、方法は、前記第１のジオメトリ画像内の同じ場所に位置するピクセルの２Ｄ空間座標および前記第２のジオメトリ画像内の前記同じ場所に位置するピクセルの深度値からジオメトリが定義された３Ｄ点の属性を前記属性画像内の同じ場所に位置するピクセルに割り当てる。

一実施形態によれば、この方法は、前記第１のジオメトリ画像内の同じ場所に位置するピクセルの深度値および前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値が同じである場合、前記属性画像内のピクセルにダミー属性を割り当てることをさらに含む。

一実施形態によれば、ダミー属性は、別の属性画像内の同じ場所に位置するピクセルの属性である。

一実施形態によれば、ダミー属性は、前記ピクセルの周囲に位置する近隣ピクセルに関連付けられる属性の平均である。

一実施形態によれば、この方法は、前記第１のジオメトリ画像内のピクセルの深度値と、前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値とが、前前記ジオメトリ画像から３Ｄ点を再構築する前に、比較されるかどうかを示す情報データを送信することをさらに含む。

それらの別の態様によれば、本実施形態は、３Ｄ点の符号化された属性を搬送するビットストリームが多数のブロック、ブロックのパッチ、およびパッチのフレームとして構成されることに関し、前記情報データが、フレームレベルのグループ、フレームレベル、パッチレベル、またはブロックレベルで有効化される。

それらの別の態様によれば、本実施形態は、３Ｄ点のジオメトリを表すジオメトリ画像から前記３Ｄ点を再構築するための方法に関し、この方法は、前記第１のジオメトリ画像内の前記ピクセルの深度値と前記第２の深度画像内の前記同じ場所に位置するピクセルの深度値とが同じでない場合、前記ジオメトリ画像のうちの第１のジオメトリ画像内のピクセルの２Ｄ空間座標および前記ジオメトリ画像のうちの第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値から３Ｄ点を再構築することを含む。

一実施形態によれば、この方法は、前記第１のジオメトリ画像内のピクセルの深度値と前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値とが、前記ジオメトリ画像から３Ｄ点を再構築する前に、比較されるかどうかを示す情報データを受信することをさらに含む。

一実施形態によれば３Ｄ点の符号化された属性を搬送するビットストリームが多数のブロック、ブロックのパッチ、およびパッチのフレームとして構成され、前記情報データが、フレームレベルのグループ、フレームレベル、パッチレベル、またはブロックレベルで有効化される

一実施形態によれば、３Ｄ点の属性は、色値またはテクスチャ値である。

実施形態の少なくとも１つの１つ以上はまた、装置、コンピュータプログラム製品、非一時的なコンピュータ可読媒体、およびビットストリームを提供する。

本実施形態の特定の性質、ならびに本実施形態の他の目的、利点、特徴、および使用は、添付の図面と併せて以下の例の説明から明らかになるであろう。

図面には、本実施形態の例が示されている。図は以下の通りである。
本実施形態の一例による３Ｄ点に関連付けられる属性を符号化するための方法１００のステップの図を概略的に示す。 本実施形態の一例による、前記３Ｄ点のジオメトリを表すジオメトリ画像から３Ｄ点を再構成するための方法２００のステップの図を概略的に示す。 ＴＭＣ２において定義される点群のジオメトリおよび属性を符号化するための方法を概略的に示す。 ＴＭＣ２において定義される点群のジオメトリおよび属性を復号化するための方法を概略的に示す。 様々な態様および実施形態が実装されるシステムの例のブロック図を示す。 本実施形態に従って修正されたＴＣＭ２の構文要素「ｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｈｅａｄｅｒ（）」の例を示す。 ＴＣＭ２の「ｆｒａｍｅ＿ａｕｘｉｌｉａｒｙ＿ｉｎｆｏｒｍａｔｉｏｎ（ｆｒａｍｅ＿ｉｎｄｅｘ）」で示され、本実施形態に従って修正された構文要素の例を示す。 ＴＣＭ２の「ｆｒａｍｅ＿ａｕｘｉｌｉａｒｙ＿ｉｎｆｏｒｍａｔｉｏｎ（ｆｒａｍｅ＿ｉｎｄｅｘ）」で示され、本実施形態に従って修正された構文要素の別の例を示す。

同様または同一の要素は、同じ参照番号で参照される。

本実施形態の例の説明
本実施形態を、本実施形態の例が示されている、添付の図を参照して、以下に詳述する。しかしながら、本実施形態は、多くの代替形態で具現化され得、本明細書に記載される例に限定されると解釈されるべきではない。したがって、本実施形態は、様々な修正および代替的な形態が可能であるが、それらの特定の例は、図面に例示として示されており、本明細書で詳細に記載される。しかしながら、本実施形態を開示された特定の形態に限定する意図はなく、むしろ、本明細書は、特許請求の範囲によって定義されるように、本実施形態の精神および範囲内に含まれる全ての変更態様、等価物、および代替物を網羅することを理解されたい。

本明細書で使用される用語は、特定の例を説明することのみを目的とし、本実施形態を限定することを意図するものではない。本明細書で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、特に文脈が明示しない限り、複数形も含むことが意図される。本明細書で使用される場合、「備える」、「備えている」、「含む」、および／または「含んでいる」という用語は、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。さらに、要素が別の要素に「応答する」または「接続される」と言及される場合、それは他の要素に直接応答するか、もしくは接続され得るか、または介在する要素が存在し得る。対照的に、要素が他の要素に「直接応答する」または「直接接続される」と言及される場合、介在する要素は存在しない。本明細書で使用する場合、「および／または」という用語は、関連する列挙された項目のうちの１つ以上のありとあらゆる組み合わせを含み、「／」と略記することができる。

本明細書では、第１、第２などの用語を使用して様々な要素を説明する場合があるが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、本実施形態の教示から逸脱することなく、第１の要素は、第２の要素と称され得、同様に、第２の要素は、第１の要素と称され得る。

一部の図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生することがあることを理解されたい。

一部の例は、ブロック図および動作フローチャートに関して説明されており、各ブロックは、指定された論理機能（複数可）を実装するための１つ以上の実行可能な命令を含む回路要素、モジュール、またはコードの一部を表す。他の実装態様では、ブロックに記載されている機能（複数可）が記載されている順序とは異なる順序で発生し得ることにも留意されたい。例えば、連続して示されている２つのブロックは、実際、実質的に同時に実行されることがあるか、またはブロックは、伴う機能に応じて、時には逆の順序で実行されることがある。

本明細書における「一例による」または「一例における」という言及は、例に関して説明された特定の特徴、構造、または特性が、本実施形態の少なくとも１つの実装態様に含まれ得ることを意味する。本明細書の様々な場所での一例による」または「一例における」という語句の出現は、必ずしも全て同じ例を指しているわけではなく、別個または代替的な例が他の例を必ずしも相互に排除しているわけでもない。

請求項に現れる参照番号は、例示としてのみであり、請求項の範囲に限定的な影響を与えないものとする。

明示的には説明されていないが、本例および変形例は、任意の組み合わせまたは部分的な組み合わせで用いられ得る。

本実施形態は、点群を表す２つのジオメトリ画像および２つの属性画像を符号化／再構築することについて説明するが、１つのシーケンスの点群のうちの点群のジオメトリ（２つのジオメトリ画像）および属性（テクスチャ／色）が前記シーケンスの点群のうちの別の点群のジオメトリ（２つのジオメトリ画像）および属性（テクスチャ／色）とは独立して符号化／再構築されるため、１つのシーケンスの点群（一時的に動的な点群）を表す２つのシーケンス（ビデオ）のジオメトリ画像および２つのシーケンス（ビデオ）の属性画像を符号化／再構築することに及ぶ。

一般的に言えば、本実施形態は、ジオメトリがジオメトリ画像によって表される３Ｄ点の属性を符号化するための方法に関する。前記３Ｄ点は、例えば、３Ｄオブジェクトの外部表面を表す点群を形成し得る。ただし、この方法は、点群の符号化に限定されず、他の３Ｄ点のセットにも拡張される。前記３Ｄ点のジオメトリ（３Ｄ座標）は、ジオメトリ画像として表される。

この方法は、前記ジオメトリ画像のうちの第１のジオメトリ画像内のピクセルの深度値と、前記ジオメトリ画像のうちの第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値が同じでない（同一の値ではない）かどうかをチェックする。前記第１のジオメトリ画像内のピクセルの深度値と、前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値が同じでない場合、この方法は、前記第１のジオメトリ画像内の前記ピクセルの２Ｄ空間座標および第２のジオメトリ画像内の前記同じ場所に位置するピクセルの深度値から定義される３Ｄ点の属性を割り当てる（符号化する）。それ以外の場合、方法は、ダミー値を前記３Ｄ点の属性として割り当てる。

したがって、この方法は、例えばＴＭＣ２で発生するような、偽の二重の３Ｄ点の符号化を回避することにより、３Ｄ点のセット通常のジオメトリと属性の符号化を変更する。これにより、符号化側でのコンピューティングおよび記憶リソースの無駄が回避され、符号化された３Ｄ点を送信するためのビットレートが制限される。

本実施形態はまた、前記３Ｄ点のジオメトリを表すジオメトリ画像から３Ｄ点を再構築するための方法に関する。

この方法は、前記ジオメトリ画像のうちの第１のジオメトリ画像内のピクセルの深度値と、前記ジオメトリ画像のうちの第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値が同じでないかどうかをチェックする。次に、この方法は、第１のジオメトリ画像内の前記ピクセルの深度値と第２の深度画像内の前記同じ場所に位置するピクセルの深度値が同じでない場合、第１のジオメオトリ画像内の前記ピクセルの２Ｄ空間座標および第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値から３Ｄ点を再構築する。それ以外の場合、３Ｄ点は再構築されない。

したがって、この方法は、例えばＴＭＣ２で発生するような、偽の二重の３Ｄ点の作成を回避することにより、３Ｄ点の通常のジオメトリと属性の再構築を変更する。これにより、復号化側でのコンピューティングおよび記憶リソースの無駄が回避される。

画像から抽出された属性の例としては、色、テクスチャ、法線ベクトルなどであってもよい。

図１は、本実施形態の一例による３Ｄ点の属性を符号化するための方法１００のステップの図を概略的に示す。

例えば、前記３Ｄ点は点群を形成することができるが、この方法は点群に限定されず、任意の３Ｄ点のセットに適用することができる。

ステップ１１０において、モジュールＭ１は、３Ｄ点のジオメトリを表すジオメトリ画像を取得することができる：前記３Ｄ点の３つの座標のうちの２つは、ジオメトリ画像内のピクセルの２Ｄ座標によって表され、ピクセル値は、前記３Ｄ点の３つ目の座標（深度値）を表す。

例えば、ＴＭＣ２では、３Ｄ点は、投影面上に直交して投影され得、２つのジオメトリ画像Ｄ０およびＤ１は、前記投影された３Ｄ点に関連付けられた深度値から取得され得る。Ｄ０は、投影面の最も近い３Ｄ点の深度値を表す第１のジオメトリ画像であり、Ｄ１は、最も遠い３Ｄ点の深度値を表す第２のジオメトリ画像である。ジオメトリ画像は、例えば、ＨＥＶＣなどのレガシー画像／ビデオ符号化器を使用して符号化され得る。

ステップ１２０において、モジュールＭ２は、前記取得されたジオメトリ画像のうちの第１のジオメトリ画像Ｄ０内のピクセルの２Ｄ空間座標および深度値から定義された３Ｄ点ＲＰの属性を表す、第１の属性画像、例えば、Ｔ０を取得し得る。

例えば、ＴＭＣ２では、３Ｄ点ＲＰの属性は元の３Ｄ点から取得される（詳細については、付録Ａのセクション２．５を参照）。第１の属性画像Ｔ０は、例えば、ＨＥＶＣなどのレガシー画像／ビデオ符号化器を使用して符号化される（図１には示されていない）。

ステップ１３０において、モジュールは、第２の属性画像、例えば、Ｔ１を取得することができる。前記第２の属性画像Ｔ１は、前記第１のジオメトリ画像内の２Ｄ空間座標および深度値から定義された補足的な３Ｄ点ＳＰの属性を表している。

最初に、ステップ１３０において、モジュールは、第１のジオメトリ画像、例えばＤ０内のピクセルＰの深度値と、第２のジオメトリ画像、例えばＤ１内の同じ場所に位置するピクセルＣＰの深度値とを比較する。次に、第１のジオメトリ画像Ｄ０内の前記ピクセルＰの深度値と、第２のジオメトリ画像Ｄ１内の前記同じ場所に位置するピクセルＣＰの深度値が同じでない場合、モジュールＭ３は、ジオメトリが前記第１のジオメトリ画像内の前記ピクセルＰの２Ｄ空間座標および前記第２のジオメトリ画像内の前記同じ場所に位置するピクセルＣＰの深度値から定義される、３Ｄ点の属性を第２の属性画像Ｔ１における同じ場所に位置するピクセルに割り当て得る。それ以外の場合、モジュールＭ４は、ダミー属性ＤＵＭを第２の属性画像内の同じ場所に位置するピクセルに割り当て得る。

第２の属性画像Ｔ１は、例えば、ＨＥＶＣなどのレガシー画像／ビデオ符号化器を使用して符号化される（図１には示されていない）。

一実施形態によれば、ダミー属性は、第１の属性画像Ｔ０の同じ場所に位置するピクセルの属性である。

一実施形態によれば、ダミー属性は、前記ピクセルＰの周りに位置する近隣ピクセルに関連付けられる属性の平均である。

図２は、本実施形態の一例による、前記３Ｄ点のジオメトリを表すジオメトリ画像から３Ｄ点を再構築するための方法２００のステップの図を概略的に示す。

ステップ２１０において、モジュールは、前記ジオメトリ画像、例えば、Ｄ０のうちの第１のジオメトリ画像内のピクセルＰの深度値と、前記ジオメトリ画像、例えば、Ｄ１のうちの第２のジオメトリ画像内の同じ場所に位置するピクセルＣＰの深度値とを比較し得る。

ステップ２２０において、モジュールＭ５は、第１のジオメトリ画像Ｄ０内のピクセルＰの２Ｄ空間座標および深度値から３Ｄ点ＲＰを定義し得る。

ステップ２３０において、モジュールＭ６は、前記第１のジオメトリ画像Ｄ０内のピクセルＰの深度値と前記第２のジオメトリ画像Ｄ０内の前記同じ場所に位置するピクセルＣＰの深度値とが同じでない場合、第１のジオメトリ画像、例えば、Ｄ０内のピクセルＰの２Ｄ空間座標、および、第２のジオメトリ画像、例えば、Ｄ１内の同じ場所に位置するピクセルＣＰの深度値から補足的な３Ｄ点ＳＰを定義する。

第１のジオメトリ画像Ｄ０内のピクセルの２Ｄ空間座標および深度値から定義される３Ｄ点ＲＰの属性は、第１の属性画像Ｔ０内の同じ場所に位置するピクセルの値である。第１のジオメトリ画像Ｄ０内のピクセルの２Ｄ空間座標、および第２のジオメトリ画像Ｄ１の同じ場所に位置するピクセルの深度値から定義された３Ｄ点ＳＰの属性は、第２の属性画像Ｔ１内の同じ場所に位置するピクセルの値である（ダミー値ＤＵＭと等しくない値）。

３Ｄ点の属性を符号化する方法１００、特に、第１のジオメトリ画像Ｄ０内の同じ場所に位置するピクセルの深度値と第２のジオメトリ画像Ｄ１内の同じ場所に位置するピクセルの深度値が同じである場合、第２の属性画像Ｔ１内のピクセル値にダミー値を割り当てる（ステップ１３０）第１の機能を実装する。

したがって、この第１の機能は、３Ｄ点の属性を送信するために必要なビットレートを制限し、コンピューティングおよび記憶リソースを削減する。

方法２００は、３Ｄ点のジオメトリを表すジオメトリ画像から３Ｄ点を再構築し、特に、前記第１のジオメトリ画像の前記ピクセルの深度値と前記第２のジオメトリ画像の前記同じ場所に位置するピクセルの深度値が同じでない場合、前記ジオメトリ画像のうちの第１のジオメトリ画像内のピクセルの２Ｄ空間座標および前記ジオメトリ画像のうちの第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値から３Ｄ点を定義する（ステップ２３０）第２の機能を実装する。

変形例によれば、前記第１および第２の機能は、情報データＩＤが第１の値を表すときに有効になり、前記情報データＩＤが第２の値を表すときに無効になる。したがって、情報データＩＤは、方法１００または２００が、３Ｄ点の属性を符号化する（方法１００）前または３Ｄ点を再構築する（方法２００）前に、第１のジオメトリ画像内のピクセルの深度値と第２のジオメトリ画像内の前記同じ場所に位置するピクセルの深度値が同じでないかどうかをチェックするかどうかを示す。

一実施形態によれば、前記第１および第２の機能は、フレームレベルのグループで有効化／無効化される。

次に、情報データＩＤは、フレームのグループに関連する構文要素に関連付けられる。

図６は、ＴＣＭ２の構文要素「ｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｈｅａｄｅｒ（）」の例を示し、フレームのグループに関連付けられた情報データＩＤを表す「ｒｅｍｏｖｅ＿ｄｕｐｌｉｃａｔｅ＿ｃｏｄｉｎｇ＿ｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ」と示されるフィールドを含んでいる。

図６のこの構文要素は、本実施形態による情報データＩＤをシグナリングするために使用され得る。

一実施形態によれば、前記第１および第２の機能は、フレームレベルのグループおよびフレームレベルで有効化／無効化される。

次に、情報データＩＤは、フレームのグループに関連する構文要素、例えば、ＴＣＭ２の構文要素「ｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｈｅａｄｅｒ（）」（図６）に関連付けられ、情報データは、図７〜７ｂに示すフレームに関連する構文要素にも関連付けられる。

図７は、ＴＣＭ２の「ｆｒａｍｅ＿ａｕｘｉｌｉａｒｙ＿ｉｎｆｏｒｍａｔｉｏｎ（ｆｒａｍｅ＿ｉｎｄｅｘ）」で示され、図７、７ａ、および７ｂに示すように修正された構文要素の例を示している。（灰色に塗られた領域）。

図６の構文要素および図７〜７ｂのこの構文要素は、本実施形態による情報データＩＤをシグナリングするために使用され得る。

一実施形態によれば、前記第１および第２の機能は、フレームレベルのグループ、フレームレベル、およびパッチレベルで有効化／無効化される。パッチは、画像の一部として定義され得る。

次に、情報データＩＤは、フレームのグループに関連する構文要、例えば、ＴＣＭ２の構文要素「ｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｈｅａｄｅｒ（）」（図６）に関連付けられ、情報データは、図８〜８ｂに示すフレームに関連する構文要素にも関連付けられる。

図８は、ＴＣＭ２の「ｆｒａｍｅ＿ａｕｘｉｌｉａｒｙ＿ｉｎｆｏｒｍａｔｉｏｎ（ｆｒａｍｅ＿ｉｎｄｅｘ）」で示され、図８、８ａ、および８ｂ（灰色に塗られた領域）に示すように修正された構文要素の例を示している。図６の構文要素および図８〜７ｂのこの構文要素は、本実施形態による情報データＩＤをシグナリングするために使用され得る。

前記最後の実施形態の変形例によれば、前記第１および第２の機能は、フレームブロックレベルで有効化／無効化される。

例えば、パッチが少なくとも１つの画像ブロックと重なり合う場合、情報データＩＤは、画像ブロックに対して第１および第２の機能が有効にされている（または有効にされていない）かを示すためにシグナリングされ得る。

これにより、パッチの一部に密な３Ｄ点が作成される。

図３は、ＴＭＣ２で定義される点群のジオメトリおよび属性を符号化するための方法を概略的に示す。

基本的に、符号化器は、第１の（Ｄ０）および第２の（Ｄ１）のジオメトリ画像における点群ＰＣのジオメトリ情報を捕捉する。

一例として、第１および第２のジオメトリ画像は、ＴＭＣ２において以下のように取得される。

ジオメトリパッチ（点群ＰＣの３Ｄ点のセット）は、これらの点における法線ベクトルに従って点群ＰＣの点をクラスタ化することによって取得される。次に、抽出された全てのジオメトリパッチは、未使用の空間を最小限に抑え、グリッドの全てのＴｘＴ（例えば、１６ｘ１６）ブロックが一意のパッチに関連付けられることを保証しながら、２Ｄグリッドに投影されてパックされ、ここで、Ｔはビットストリームにシグナリングされるユーザ定義のパラメータである。

次に、パッキングプロセス中に計算された３Ｄから２Ｄへのマッピング、より具体的には、各パッチの投影領域のパッキング位置およびサイズを利用して、ジオメトリ画像が生成される。より正確には、Ｈ（ｕ，ｖ）を、同じピクセル（ｕ，ｖ）に投影される現在のパッチの点のセットとする。最も近い層または第１のジオメトリ画像Ｄ０とも呼ばれる第１の層は、最小のジオメトリ値を有するＨ（ｕ、ｖ）の点を記憶する。最も遠い層または第２のジオメトリ画像Ｄ１と称される第２の層は、間隔［Ｄ，Ｄ＋Δ］内で最も高いジオメトリ値を有するＨ（ｕ，ｖ）の点を捕捉し、ここで、Ｄは、第１のジオメトリ画像Ｄ０内のピクセルのジオメトリ値であり、Δは、表面の厚さを表すユーザ定義のパラメータである。

次に、第１のジオメトリ画像Ｄ０は、パッキングプロセスを出力する。パディングプロセスはまた、ビデオ圧縮に適した区分的に滑らかな第１のジオメトリ画像を生成するためにパッチ間の空の空間を埋めるよう使用される。

生成されたジオメトリ画像／層Ｄ０およびＤ１は、次に、ビデオフレームとして記憶され、ＨＥＶＣなどの任意のレガシービデオコーデックを使用して圧縮される。

符号化器は、第１および第２のジオメトリ画像を符号化／復号化し、前記復号化された第１および第２のジオメトリ画像

を逆投影することで点群のジオメトリを再構成することにより、２つのテクスチャ（属性）画像における元の点群ＰＣの属性情報も捕捉する。一旦再構成されると、色情報のコーディングエラーを最小限に抑えるように、元の点群ＰＣの色情報から、再構築された点群の各点に色が割り当てられる（色の転写）。

一実施形態によれば、各再構築された点について、元の点群におけるその最も近い点の色が、コードされるべきその色として割り当てられる。

各再構築された点のコードされるべき色情報をジオメトリ画像と同じ位置、すなわち（ｉ，ｕ，ｖ）に記憶することにより、第１および第２の属性画像Ｔ０，Ｔ１が生成される。

例えば、方法１００および２００は、再構築された点群が必要な場合、つまり、点群のジオメトリおよび場合によっては、属性が必要な場合に、ＴＭＣ２の符号化側（付録Ａの図１）で使用され得る。これは、例えば、属性画像を生成する場合、およびジオメトリ画像を再構築する場合に当てはまる。

図４は、ＴＭＣ２で定義されるように、点群のジオメトリおよび属性を復号化するための方法を概略的に示している。

復号化された第１のジオメトリ画像

および復号化された第２のジオメトリ画像

は、ビットストリームＢＴを復号化することによって取得される。場合によっては、点群のジオメトリを再構築するためにメタデータも復号化される。

したがって、点群のジオメトリは、前記復号化された第１および第２のジオメトリ画像、および場合によっては前記メタデータを逆投影することによって再構築される。

方法２００は、再構築された点群が必要な場合、すなわち点群のジオメトリが必要な場合に、ＴＭＣ２の復号化側（付録Ａの図２）でも使用することができる。これは、例えば、点群のジオメトリを再構築する場合に当てはまる。

図１〜図８ｂでは、モジュールは、区別可能な物理的ユニットに関連していてもよく、関連していなくてもよい機能ユニットである。例えば、これらのモジュールもしくはそのいくつかは、一意の構成要素もしくは回路にまとめられ得るか、またはソフトウェアの機能に寄与し得る。反対に、いくつかのモジュールは、個別の物理エンティティで潜在的に構成され得る。本実施形態と互換性のある装置は、例えば、それぞれ「特定用途向け集積回路」、「フィールドプログラマブルゲートアレイ」、「超大規模集積回路」であるＡＳＩＣ、ＦＰＧＡ、ＶＬＳＩなどの専用のハードウェアを使用した純粋なハードウェアを使用して、またはデバイスに埋め込まれたいくつかの集積電子構成要素から、もしくはハードウェアおよびソフトウェアの構成要素のブレンドから実装される。

図５は、様々な態様および実施形態が実装されるシステムの例のブロック図を示す。システム５０００は、以下に説明する様々な構成要素を含むデバイスとして具現化することができ、本出願で説明される態様の１つ以上を実施するように構成される。そのようなデバイスの例は、これらに限定されるものではないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ録画システム、コネクテッド家電、およびサーバなどの様々な電子デバイスを含む。システム５０００の要素は、単独でも組み合わせでも、単一の集積回路、多数のＩＣ、および／またはディスクリート部品に具現化され得る。例えば、少なくとも１つの実施形態において、システム５０００の処理および符号化器／復号化器要素は、多数のＩＣおよび／またはディスクリート部品にわたって分散されている。様々な実施形態において、システム５０００は、他の同様のシステムに、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力および／もしくは出力ポートを通じて、通信可能に結合される。様々な実施形態において、システム５０００は、本文書に記載する態様のうちの１つ以上を実装するように構成される。

システム５０００は、例えば、本文書に記載の様々な態様を実装する際に、ローディングされた命令を実行するように構成された少なくとも１つのプロセッサ５０１０を含む。プロセッサ５０１０は、当技術分野で周知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム５０００は、少なくとも１つのメモリ５０２０（例えば、揮発性メモリデバイス、および／または不揮発性メモリデバイス）を含む。システム５０００は、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブが含むがこれらに限定されない、不揮発性メモリおよび／または揮発性メモリを含み得る記憶デバイス５０４０を含む。記憶デバイス５０４０は、非限定的な例として、内部記憶デバイス、付属の記憶デバイス、および／またはネットワークアクセス可能な記憶デバイスを含み得る。
システム５０００は、例えば、符号化されたビデオまたは復号化されたビデオを提供するためにデータを処理するように構成された符号化器／復号化器モジュール５０３０を含み、符号化器／復号化器モジュール５０３０は、独自のプロセッサおよびメモリを含み得る。符号化器／復号化器モジュール５０３０は、符号化機能および／または復号化機能を実施するデバイスに含まれ得るモジュール（複数可）を表す。周知のように、デバイスは、符号化および復号化モジュールの一方または両方を含み得る。さらに、符号化器／復号化器モジュール５０３０は、システム５０００の別個の要素として実装され得るか、または、当業者には周知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ５０１０内に組み込まれ得る。

本文書に記載の様々な態様を実施するようにプロセッサ５０１０または符号化器／復号化器５０３０にローディングされるべきプログラムコードは、記憶デバイス５０４０に記憶され、続いて、プロセッサ５０１０による実行のためにメモリ５０２０にローディングされ得る。様々な実施形態によれば、プロセッサ５０１０、メモリ５０２０、記憶デバイス５０４０、および符号化器／復号化器モジュール５０３０のうちの１つ以上は、本文書に記載の処理の実行中、様々な項目のうちの１つ以上を記憶することができる。このような記憶された項目は、入力ビデオ、復号化されたビデオ、点群、復号化されたビデオの再構築された点群または一部、ビットストリーム、行列、変数、および方程式、数式、演算、および演算ロジックの処理からの中間結果または最終結果を含み得るが、これらに限定されない。

いくつかの実施形態において、プロセッサ５０１０および／または符号化器／復号化器モジュール５０３０内のメモリは、命令を記憶し、符号化または復号化中に必要となる処理のためのワーキングメモリを提供するために使用される。

しかしながら、他の実施形態において、処理デバイス（例えば、処理デバイスは、プロセッサ５０１０または符号化器／復号化器モジュール５０３０のいずれかであり得る）の外部のメモリは、これらの機能のうちの１つ以上に使用される。外部メモリは、メモリ５０２０および／または記憶デバイス５０４０であり得、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、テレビのオペレーティングシステムを記憶するために外部不揮発性フラッシュメモリが使用される。少なくとも１つの実施形態において、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ−２、ＨＥＶＣ、ＶＶＣ（バーサタイルビデオコード化）またはＴＭＣ２など、ビデオコード化および復号化作業に、ワーキングメモリとして使用される。

システム５０００の要素への入力は、ブロック５１３０に示されるような様々な入力デバイスを通して提供され得る。そのような入力デバイスは、これらに限定されるものではないが、（ｉ）例えば、ブロードキャスタによって無線を介して送信されたＲＦ信号を受信するＲＦ部、（ｉｉ）コンポジット入力端子、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ入力端子を含む。

様々な実施形態において、ブロック５１３０の入力デバイスは、当技術分野で周知であるような関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択する（信号を選択する、またはある周波数帯域に信号を帯域制限する、とも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）（例えば）ある特定の実施形態ではチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限する、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調する、（ｖ）エラー訂正を実施する、（ｖｉ）逆多重化して、所望のデータパケットストリームを選択するために、必要な要素に関連付けられ得る。様々な実施形態のＲＦ部には、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、およびデマルチプレクサの機能を実施する１つ以上の要素が含まれる。ＲＦ部には、例えば、受信された信号をより低い周波数に（例えば、中間周波数またはベースバンドに近い周波数）、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実施する波長調整器が含まれ得る。

１つのセットトップボックスの実施形態において、ＲＦ部およびその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体経由で送信されたＲＦ信号を受信し、フィルタ処理し、ダウンコンバートし、所望の周波数帯域に再びフィルタ処理することによって、周波数選択を実施する。

様々な実施形態は、上記（および他の）要素の順序を並べ替え、これらの要素のうちのいくつかを取り除き、および／または同様もしくは異なる機能を実施する他の要素を追加する。

要素を追加することには、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ−デジタル変換器を挿入することなどが含まれ得る。様々な実施形態において、ＲＦ部は、アンテナを含む。

さらに、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続にわたって他の電子デバイスにシステム５０００を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモンエラー訂正が、例えば、必要に応じて、別個の入力処理ＩＣ内、またはプロセッサ５０１０内に実装され得ることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内またはプロセッサ５０１０内に実装され得る。例えば、出力デバイス上での表示のために、必要に応じて、データストリームを処理するように、メモリおよび記憶要素と組み合わせて動作するプロセッサ５０１０、および符号化器／復号化器５０３０を含む、様々な処理要素に対して、復調され、エラー訂正され、逆多重化されたストリームが提供される。

システム５０００の様々な要素は、一体型ハウジング内に設けることができる。一体型ハウジング内で、様々な要素は相互接続され、好適な接続配置、例えば、Ｉ２Ｃバス、配線、およびプリント回路基板を含む当技術分野で知られている内部バスを使用して、それらの間でデータを送信することができる。

システム５０００は、通信チャネル５０６０を介して他のデバイスとの通信を可能にする通信インターフェース５０５０を含む。通信インターフェース５０５０には、通信チャネル５０６０経由でデータを送受信するように構成されたトランシーバが含まれ得るが、これに限定されない。通信インターフェース５０５０には、モデムまたはネットワークカードが含まれ得るが、これらに限定されず、通信チャネル５０６０は、例えば、有線および／または無線媒体内に実装され得る。

様々な実施形態において、データは、ＩＥＥＥ８０２．１１などのＷｉ−Ｆｉネットワークを使用して、システム５０００にストリーミングされる。これらの実施形態のＷｉ−Ｆｉ信号は、Ｗｉ−Ｆｉ通信に適合された通信チャネル５０６０および通信インターフェース５０５０経由で受信される。これらの実施形態の通信チャネル５０６０は、アプリケーションをストリーミングすることおよび他のオーバー・ザ・トップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセス点またはルータに通常接続される。

他の実施形態は、入力ブロック５１３０のＨＤＭＩ接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム５０００に提供する。

さらに他の実施形態は、入力ブロック５１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム５０００に提供する。

ストリーミングされたデータは、システム５０００によって使用される情報をシグナリングするための方法として使用され得る。シグナリング情報は、上記で説明したように、情報データＩＤを含み得る。

シグナリングは、様々な方法で達成できることが分かるはずである。例えば、１つ以上の構文要素、フラグなどが、様々な実施形態で、対応する復号化器に情報をシグナリングするために使用される。

システム５０００は、ディスプレイ５１００、スピーカ５１１０、および他の周辺デバイス５１２０を含む、様々な出力デバイスに出力信号を供給することができる。他の周辺デバイス５１２０には、様々な実施形態例において、スタンドアローンＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、およびシステム５０００の出力に基づき、機能を提供する他のデバイスのうちの１つ以上が含まれる。

様々な実施形態では、制御信号は、システム５０００とディスプレイ５１００、スピーカ５１１０、または他の周辺デバイスとの間で通信される。
５１２０ ＡＶ．Ｌｉｎｋ、ＣＥＣ、またはユーザの介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用する。

出力デバイスは、それぞれのインターフェース５０７０、５０８０、および５０９０を通して専用接続を介してシステム５０００に通信可能に結合され得る。

代替的に、出力デバイスは、通信インターフェース５０５０を介し、通信チャネル５０６０を使用してシステム５０００に接続され得る。ディスプレイ５１００およびスピーカ５１１０は、例えば、テレビなどの電子デバイス内におけるシステム５０００の他の構成要素と単一のユニットにおいて統合され得る。

様々な実施形態において、ディスプレイインタフェース５０７０には、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバが含まれる。

代替的に、ディスプレイ５１００およびスピーカ５１１０は、例えば、入力５１３０のＲＦ部が別個のセットトップボックスの一部である場合、他の構成要素のうちの１つ以上とは別個であってもよい。ディスプレイ５１００およびスピーカ５１１０が外部構成要素である様々な実施形態において、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力部を含む専用出力接続を介して供給され得る。

本明細書で説明される様々な処理および特徴の実装態様は、様々な異なる機器またはアプリケーションで具現化され得る。このような機器の例は、符号化器、復号化器、復号化器からの出力を処理するポストプロセッサ、入力を符号化器に供給するプリプロセッサ、ビデオ符号化器、ビデオ復号化器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、およびピクチャもしくはビデオを処理するための任意の他のデバイス、または他の通信デバイスを含む。明らかであるはずであるように、機器は、可搬式とすることができ、移動車両にさえ搭載することができる。

加えて、方法は、プロセッサによって実施される命令によって実装され得、そのような命令（および／または実装態様によって生成されるデータ値）は、コンピュータ可読記憶媒体に記憶され得る。コンピュータ可読記憶媒体は、１つ以上のコンピュータ可読媒体（複数可）で具現化され、かつコンピュータで実行可能なコンピュータ可読プログラムコードがその上で具現化されるコンピュータ可読プログラム製品の形態をとることができる。本明細書で使用されるコンピュータ可読記憶媒体は、そこに情報を記憶する固有の能力、ならびにそこから情報の検索を提供する固有の能力が与えられた非一時的記憶媒体と見なされる。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前述の任意の好適な組み合わせとすることができるが、これらに限定されない。以下は、本実施形態を適用することができるコンピュータ可読記憶媒体のより具体的な例を提供するが、当業者によって容易に理解されるように、ポータブルコンピュータディスケット、ハードディスク、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、または前述のいずれかの好適な組み合わせは、単に例示的であり、網羅的なリストではないことを理解されたい。

命令は、プロセッサ可読媒体に有形に具現化されるアプリケーションプログラムを形成することができる。

命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせに存在することができる。命令は、例えば、オペレーティングシステム、個別アプリケーション、または２つの組み合わせに見出すことができる。したがって、プロセッサは、例えば、処理を実行するように構成されたデバイス、および処理を実行する命令を有するプロセッサ可読媒体（記憶デバイスなど）を含むデバイスの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実装態様により生成されるデータ値を記憶することができる。

当業者には明らかであるように、実装態様は、情報を搬送するようにフォーマット化される多種多様な信号を生成することができ、この情報は、例えば、記憶または送信することができる。情報は、例えば、方法を実行する命令、または説明される実装態様のうちの１つにより生成されたデータを含むことができる。例えば、信号は、説明した本実施形態の例の構文を書き込むか、もしくは読み出すルールをデータとして搬送するように、または説明した本実施形態の例により書き込まれた実際の構文値をデータとして搬送するようにフォーマット化することができる。このような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）またはベースバンド信号としてフォーマット化することができる。フォーマット化することは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報とすることができる。信号は、既知のように、多種多様な異なる有線リンクまたは無線リンクを介して送信され得る。信号は、プロセッサ可読媒体に記憶され得る。

多数の実装態様が説明されてきた。それにもかかわらず、様々な変更を行うことができることが理解されよう。例えば、異なる実装態様の要素は、他の実装態様を生成するために組み合わせる、補足する、変更する、または削除することができる。また、当業者であれば、他の構造および処理を、開示される構造および処理に替えて用いることができ、結果として得られる実装態様が、少なくとも実質的に同じ機能（複数可）を、少なくとも実質的に同じ方法（複数可）で実行して、開示される実装態様と少なくとも実質的に同じ結果（複数可）を達成することを理解するであろう。したがって、これらの実装態様および他の実装態様は、本出願により想到される。

Claims (23)

1. ジオメトリがジオメトリ画像によって表され、属性が属性画像によって表される３Ｄ点を符号化するための方法であって、前記ジオメトリ画像のうちの第１のもの内のピクセルの深度値と、前記ジオメトリ画像のうちの第２のもの内の同じ場所に位置するピクセルの深度値とが同じでない場合、前記方法は、ジオメトリが、前記第１のジオメトリ画像内の同じ場所に位置するピクセルの２Ｄ空間座標および前記第２のジオメトリ画像内の前記同じ場所に位置するピクセルの深度値から定義される３Ｄ点の属性を前記属性画像内の同じ場所に位置するピクセルに割り当てる、方法。
2. 前記方法が、前記第１のジオメトリ画像内の同じ場所に位置するピクセルの深度値と、前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値とが同じである場合、前記属性画像のピクセルにダミー属性を割り当てることをさらに含む、請求項１に記載の方法。
3. 前記ダミー属性が、別の属性画像の前記同じ場所に位置するピクセルの属性である、請求項１または２に記載の方法。
4. 前記ダミー属性が、前記ピクセルの周囲に位置する近隣ピクセルに関連付けられる属性の平均である、請求項２または３に記載の方法。
5. 前記方法が、前記第１のジオメトリ画像内のピクセルの深度値と、前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値とが、前記ジオメトリ画像から３Ｄ点を再構築する前に、比較されるかどうかを示す情報データを送信することをさらに含む、請求項１〜４のうちいずれか一項に記載の方法。
6. ３Ｄ点の符号化された属性を搬送するビットストリームが、多数のブロック、ブロックのパッチ、およびパッチのフレームとして構成され、前記情報データが、フレームレベルのグループ、フレームレベル、パッチレベル、またはブロックレベルで有効化される、請求項５に記載の方法。
7. ３Ｄ点のジオメトリを表すジオメトリ画像から前記３Ｄ点を再構築するための方法であって、前記方法が、第１のジオメトリ画像内のピクセルの深度値と第２の深度画像内の同じ場所に位置するピクセルの深度値とが同じでない場合、前記第１のジオメトリ画像内のピクセルの２Ｄ空間座標および前記第２のジオメトリ画像内の前記同じ場所に位置するピクセルの深度値から３Ｄ点を再構築することを含む、方法。
8. 前記方法が、前記第１のジオメトリ画像内のピクセルの深度値と前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値とが、前記ジオメトリ画像から３Ｄ点を再構築する前に、比較されるかどうかを示す情報データを受信することをさらに含む、請求項７に記載の方法。
9. ３Ｄ点の符号化された属性を搬送するビットストリームが、多数のブロック、ブロックのパッチ、およびパッチのフレームとして構成され、前記情報データが、フレームレベルのグループ、フレームレベル、パッチレベル、またはブロックレベルで有効化される、請求項８に記載の方法。
10. ３Ｄ点の属性が、色値またはテクスチャ値である、請求項１〜９のうちいずれか一項に記載の方法。
11. ジオメトリがジオメトリ画像によって表され、属性が属性画像によって表される３Ｄ点を符号化するための装置であって、前記装置は、第１の前記ジオメトリ画像内のピクセルの深度値と第２の前記ジオメトリ画像内の同じ場所に位置するピクセルの深度値が同じでない場合、ジオメトリが、前記第１のジオメトリ画像内の同じ場所に位置するピクセルの２Ｄ空間座標および前記第２のジオメトリ画像内の前記同じ場所に位置するピクセルの深度値から定義される３Ｄ点の属性を前記属性画像内の同じ場所に位置するピクセルに割り当てるように構成されたプロセッサを備える、装置。
12. 前記方法が、前記第１のジオメトリ画像内の同じ場所に位置するピクセルの深度値と、前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値とが同じである場合、前記属性画像のピクセルにダミー属性を割り当てることをさらに含む、請求項１１に記載の装置。
13. 前記ダミー属性が、別の属性画像の前記同じ場所に位置するピクセルの属性である、請求項１１または１２に記載の装置。
14. 前記ダミー属性が、前記ピクセルの周囲に位置する近隣ピクセルに関連付けられる属性の平均である、請求項１２または１３に記載の装置。
15. 前記プロセッサが、前記第１のジオメトリ画像内のピクセルの深度値と、前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値とが、前記ジオメトリ画像から３Ｄ点を再構築する前に、比較されるかどうかを示す情報データを送信するようさらに構成されている、請求項１１〜１４のうちいずれか一項に記載の装置。
16. ３Ｄ点の符号化された属性を搬送するビットストリームが、多数のブロック、ブロックのパッチ、およびパッチのフレームとして構成され、前記情報データが、フレームレベルのグループ、フレームレベル、パッチレベル、またはブロックレベルで有効化される、請求項１５に記載の装置。
17. ３Ｄ点のジオメトリを表すジオメトリ画像から前記３Ｄ点を再構築するための装置であって、前記装置が、第１のジオメトリ画像内のピクセルの深度値と第２の深度画像内の同じ場所に位置するピクセルの深度値とが同じでない場合、前記第１の前記ジオメトリ画像内のピクセルの２Ｄ空間座標および前記第２の前記ジオメトリ画像の前記同じ場所に位置するピクセルの深度値から３Ｄ点を再構築するよう構成されたプロセッサを備える、装置。
18. 前記プロセッサが、前記第１のジオメトリ画像内のピクセルの深度値と前記第２のジオメトリ画像内の同じ場所に位置するピクセルの深度値とが、前記ジオメトリ画像から３Ｄ点を再構築する前に、比較されるかどうかを示す情報データを受信するようさらに構成されている、請求項１７に記載の装置。
19. ３Ｄ点の符号化された属性を搬送するビットストリームが、多数のブロック、ブロックのパッチ、およびパッチのフレームとして構成され、前記情報データが、フレームレベルのグループ、フレームレベル、パッチレベル、またはブロックレベルで有効化される、請求項１８に記載の装置。
20. ３Ｄ点の属性が、色値またはテクスチャ値である、請求項１１〜１９のうちいずれか一項に記載の装置。
21. プログラムコード命令を含む、コンピュータプログラム製品であって、このプログラムがコンピュータ上で実行されるとき、請求項１〜１０に記載の方法のステップを実行するための前記プログラムコード命令を含む、コンピュータプログラム製品。
22. プログラムコードの命令を担持する、非一時的な記憶媒体であって、前記プログラムがコンピューティングデバイス上で実行されるとき、請求項１〜１０のうちいずれか一項に記載の方法のステップを実行するための前記プログラムコードの命令を担持する、非一時的な記憶媒体。
23. ３Ｄ点のジオメトリと属性を表すジオメトリと属性の画像を搬送するビットストリームであって、前記ビットとリームが、前記ジオメトリと属性の画像から３Ｄ点を再構築することが、３Ｄ点を再構築する前に、第１のジオメトリ画像のピクセルの深度値と第２のジオメトリ画像の同じ場所に位置するピクセルの深度値が同じでないどうかをチェックすることを必要とするかどうかを示す情報データをさらに搬送する、ビットストリーム。
    

Images