JP2021531548A - 点群のジオメトリを符号化／復号する方法及び装置 - Google Patents

Abstract

本実施形態は一方法及び装置に関する。本方法は、１つの点群の少なくとも１つの点から少なくとも１つの第１の点を、当該点群の前記点を投影面上に投影して、前記少なくとも１つの第１の点に従い決定された点群の少なくとも１つの他の点を取得することにより取得すること、当該点群の前記少なくとも１つの他の点を近似すべく、前記少なくとも１つの第１の点の少なくとも１つの補間符号化モードを、前記少なくとも１つの第１の点から取得された少なくとも１つの再構築された点、及び前記少なくとも１つの補間符号化モードにより定義された少なくとも１つの補間点に基づいて決定及び符号化すること、並びに前記少なくとも補間符号化モードを画像データの値としてシグナリングすることを含む。

Description

分野
本実施形態は一般に、３Ｄ物体の外面を表す点群の符号化及び復号に関する。特に、但し非限定的に、本実施形態の技術分野はそのような点群のジオメトリの符号化／復号に関係している。

背景
本節は、以下に記述及び／又は権利請求する本実施形態の各種態様に関連し得る技術分野の各種態様を読者に紹介することを意図している。以下の記述は、本実施形態の各種態様に対する理解を深めるべく読者に背景情報を提供するのに役立つものと思われる。従って、以下の記述は従来技術の紹介ではなく上述の主旨で読まれるべきものであることを理解されたい。

点群は、何らかの座標系におけるデータ点の組である。３次元座標系（３Ｄ空間）において、これらの点は通常、３Ｄ物体の外面を表すことを意図されている。点群の各点は多くの場合、場所（３Ｄ空間内のＸ、Ｙ及びＺ座標）、及び恐らくは他の付随する属性、例えばＲＧＢ又はＹＵＶ色空間内で表される色、透明度、反射率、２成分法線ベクトル等により定義される。

点群を６成分点（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）又は等価的に（Ｘ、Ｙ、Ｚ、Ｙ、Ｕ、Ｖ）の組として表すことが通常であり、（Ｘ，Ｙ，Ｚ）は３Ｄ空間内の着色点の座標を定義し、（Ｒ，Ｇ，Ｂ）又は（Ｙ，Ｕ，Ｖ）は当該着色点の色を定義する。

点群は、当該点群が経時的に変化するか否かに応じて静的又は動的であってよい。動的点群の場合、点の個数は一定でなく、逆に一般に経時的に変化することに注意されたい。動的点群は従って、点の組の時系列的リストである。

実際には、点群は、像又は建物等の物体を搬送するか又は現地を訪問することなく当該物体の空間構成を共有すべく３Ｄ走査する文化遺産／建物等、各種の目的に利用できる。また、例えば地震による寺院の破壊等、物体が破壊され得る場合に備えて当該物体に関する知識を確実に保存する仕方である。このような点群は典型的には静的であって、着色され且つ巨大である。

別のユースケースは、３Ｄ表現を用いることで地図が平面に限定されずレリーフを含んでいてよい地形学及び地図学である。ここでGoogle Mapsは３Ｄマップの良い例であるが、点群ではなくメッシュを用いる。しかしながら、点群は３Ｄマップの適切なデータ形式であり得、そのような点群は典型的に静的であって、着色され且つ巨大である。

自動車産業及び自動運転車もまた、点群を利用できる領域である。自動運転車は、直近傍の現状に基づいて良好な運転意思決定を行うべく自身の環境を「探索」できなければならない。LIDAR等の典型的センサは、決定エンジンが用いる動的点群を生成する。これらの点群は人間による目視を意図されておらず、典型的には小さくて必ずしも着色されておらず、撮像頻度が高く動的である。当該点群はLidarが与える反射率等、他の属性を有していてよく、当該属性は検知物体の材料に関する良好な情報であって決定に役立つ場合がある。

仮想現実及び没入世界は近年盛んに話題になっており、多くの人が２Ｄフラットビデオの将来として予見している。基本概念としては、目前の仮想世界しか見ることができない標準ＴＶとは逆に、見る人を自身の周囲全体の環境に没入させることである。環境における見る人の自由度に応じて没入度にいくつかの階調がある。着色点群は、仮想現実（又はＶＲ）世界を配信する良好な形式の候補である。これらは静的又は動的であってよく、典型的には平均的な大きさを有し、例えば一度に数百万点を超えることはない。

点群圧縮が没入世界における３Ｄ物体の保存／送信に成功するのは、ビットストリームの大きさがエンドユーザーに実用的な記憶容量／送信速度を与えるのに充分小さい場合だけである。

受容可能な（又は好適には極めて良好な）体感品質を維持しながら合理的なビットレート消費でエンドユーザーに動的点群を配信できることが必須である。これらの動的点群を効率的に圧縮することが没入世界の配信チェーンを実用化するためのキーポイントである。

画像に基づく点群圧縮技術が、圧縮効率と複雑度の低さの組み合わせに起因して急速に普及が進んでいる。これらは、二つの主要なステップで進行する。最初に、点群、すなわち３Ｄ点を２Ｄ画像に投影（正射投影）する。例えば、少なくとも１つの奥行き画像が、点群のジオメトリ、すなわち３Ｄ空間内の３Ｄ点の空間座標を表し、少なくとも１つのテクスチャ画像が点群の３Ｄ点に付随する属性、例えば当該３Ｄ点に関連するテクスチャ／色情報を表す。次に、これらの技術は従来のビデオエンコーダによりこのような奥行き及びテクスチャ画像を符号化する。

画像に基づく点群圧縮技術は、２Ｄビデオエンコーダ、例えばＨＥＶＣ（“ITU-T H.265 Telecommunication standardization sector of ITU (10/2014), series H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, Recommendation ITU-T H.265”）の性能を利用することにより良好な圧縮性能を実現すると同時に、簡単な投影スキームを用いることにより複雑さを低く抑えている。

画像に基づく点群圧縮技術の課題の一つは、点群が、特に点の分布が折り目の多い表面（布地等の凹／凸領域）に沿う場合、又は点の分布が全く表面に沿わない（毛皮又は毛髪等）場合に画像への投影に適し得ないことである。これらの状況において、画像に基づく点群圧縮技術の圧縮効率が低くなる（多くの細かい投影が必要とされ、２Ｄビデオ圧縮の効率が下がる）か、又は（点群を表面に投影する困難さに起因して）品質が低下する。

上述の課題を軽減すべく先端技術で用いられるアプローチの一つは、複数のジオメトリ及びテクスチャ情報を画像内の同一空間位置（ピクセル）に投影するものである。これは、いくつかの奥行き及び／又はテクスチャ画像が点群の３Ｄ点毎に生成され得ることを意味する。

これは例えば、点群が正射投影面に正射投影される、ISO/IEC JTC1/SC29/WG11/N17248, Macau, China, October 2017に定義されたいわゆるテストモデルカテゴリ２点群エンコーダ（ＴＭＣ２）のケースである。次いで前記投影面の座標毎に２個の奥行き値が関連付けられており、１つが最近点に関連付けられた奥行き値（最小奥行き値）を表し、他の１つが最遠点の奥行き値（最大奥行き値）を表している。次いで第１の奥行き画像が最小奥行き値（Ｄ０）から生成され、第２の奥行き画像が最大奥行き値（Ｄ１）の絶対値及から生成され、Ｄ１−Ｄ０は最大表面の厚さ以下である。

次いで奥行き画像及び付随するメタデータが符号化及び復号される。次いで点群のジオメトリが２個の復号された奥行き画像から再構築される。しかし、点群の大域的符号化コストを減らすには前記２個の奥行き画像の符号化効率を高める必要がある。

概要
以下に、本実施形態のいくつかの態様の基本的理解が得られるよう本実施形態の簡略な概要を示す。本概要は本実施形態の網羅的に俯瞰するものではない。本概要は本実施形態の主要又は必須要素の識別を意図していない。以下の概要は単に本実施形態のいくつかの態様を、以下に示すより詳細な記述の導入部として簡略化された形式で示すものに過ぎない。

本実施形態は、従来技術の短所の少なくとも一つを、
−１つの点群の少なくとも１つの点から少なくとも１つの第１の点を、当該点群の前記点を投影面上に投影して、前記少なくとも１つの第１の点に従い決定された当該点群の少なくとも１つの他の点を取得することにより取得すること、
−当該点群の前記少なくとも１つの他の点を近似すべく、前記少なくとも１つの第１の点の少なくとも１つの補間符号化モードを、前記少なくとも１つの第１の点から取得された少なくとも１つの再構築された点、及び前記少なくとも１つの補間符号化モードにより定義された少なくとも１つの補間点に基づいて決定及び符号化すること、及び
−前記少なくとも補間符号化モードを画像データの値としてシグナリングすることを含む方法により克服すべく提供するものである。

本実施形態の特定の性質、並びに本実施形態の他の目的、利点、特徴及びを使用は、添付の図面と合わせて以下の例の記述から明らかになろう。

図面の簡単な説明
添付の図面に本実施形態の複数の例を示す。

本実施形態の一例による、点群の複数の点の奥行き値を符号化する方法１００のステップを模式的に示す。 本実施形態の一実施形態による、ステップ１３０の一実施形態を模式的に示す。 本実施形態の一例による、候補補間符号化モードの複数の実施形態を示す。 本実施形態の一例による、候補補間符号化モードの複数の実施形態を示す。 本実施形態の一例による、第１の奥行き画像及び第２の奥行き画像をビットストリームから復号する方法２００のステップを模式的に示す。 従来技術（ＴＭＣ２）で定義された点群のジオメトリ及びテクスチャを符号化する方法を模式的に示す。 図５の符号化方法における方法１００及び２００の一使用例を模式的に示す。 図６の一変型例を示す。 従来技術（ＴＭＣ２）で定義された点群のジオメトリ及びテクスチャを復号する方法を模式的に示す。 図７の復号方法における方法２００の一使用例を模式的に示す。 図８の一変型例を示す。 本実施形態の一例による、各種態様及び実施形態が実装されたシステムの一例のブロック図を示す。 本実施形態の一例による、通信ネットワークを介して通信する２個のリモート機器を示す。 本実施形態の一例による、信号の構文を示す。 ＴＭＣ２における再構築モードの使用の分布の例を示す。 占有マップの複数の例を示す。 占有マップの複数の例を示す。 占有マップの複数の例を示す。

類似又は同一要素には同一参照番号が付与されている。

本実施形態の例の説明
本実施形態について、本実施形態の複数の例を示す添付図面を参照しながら以下により完全に記述する。しかし、本実施形態は多くの代替形式で実現可能であり、以下に記述する例に限定されるものと解釈すべきでない。従って、本実施形態は各種の変更及び代替形式をとり得るが、それらの特定の例を図面に例示して本明細書で詳述する。しかし、開示する特定の形式に本実施形態を限定する意図は無く、逆に本明細書は請求項に記載する本実施形態の概念及び範囲に含まれる全ての変更、等価、及び代替を対象とすることを理解されたい。

本明細書で用いる用語は、特定の例の記述のみを目的としており、本実施形態を限定することは意図していない。本明細書で用いるように、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、別途文脈から明示されない限り複数形も含むことを意図している。更に、用語「含む」、「含んでいる」、「包含する」及び／又は「包含している」は、本明細書で用いられる場合、言及された特徴、整数、ステップ、動作、要素、及び／又は成分の存在を指定するが、他の１つ以上の特徴、整数、ステップ、動作、要素、成分、及び／又はこれらの集団の存在又は追加を排除しないものと理解されたい。更に、ある要素が他の要素に「応答する」又は「接続されている」と称される場合、当該他要素に直接応答するか又は接続されていてよく、或いは介入要素が存在してもよい。対照的に、ある要素が他の要素に「直接応答する」又は「直接接続されている」と称される場合、介入要素が存在しない。本明細書で用いる用語「及び／又は」は、１つ以上の列挙された関連項目の全ての組み合わせを含み、「／」と略記される場合がある。

本明細書で用語第１、第２、等は各種の要素の記述に用いられてよいが、当該要素がこれらの用語に限定されないことを理解されたい。これらの用語は、ある要素を別の要素と区別するために用いるに過ぎない。例えば、本実施形態の内容から逸脱することなく、第１の要素を第２の要素と称してよく、同様に第２の要素を第１の要素と称してもよい。

いくつかの図面において、通信の主方向を示すべく通信経路上に矢印を含んでいるが、図示する矢印の逆方向でも通信が生起し得ることを理解されたい。

いくつかの例について、各ブロックが回路要素、モジュール、又は指定された論理機能を実装するための１つ以上の実行可能な命令を含む符号の部分を表すブロック図及び動作フロー図に関連して記述している。また、他の実装において、ブロックに記述された機能が記述した順序から外れて生起し得ることに注意されたい。例えば、連続的に示す２ブロックが実際には、ほぼ並行して実行されてよく、又は当該ブロックが関係する機能に応じて逆の順序で実行される場合もあり得る。

本明細書で「一例によれば」又は「一例において」の語句は、当該例との関連で記述された特定の特徴、構造、又は特徴が本実施形態の少なくとも一つの実装に含めることができることを意味する。本明細書の様々な箇所に出現する語句「一例によれば」又は「一例において」は必ずしも全てが同じ例を参照している訳ではなく、且つ別個又は代替的な例が他の例を相互に排除するものではない。

請求項に出現する参照番号は説明目的に過ぎず、請求の範囲を限定する効果は有していないものとする。

明示的に記述していないが、本例及び変型例は任意の組み合わせ又は部分的な組み合わせに用いられてよい。

本実施形態は、１つの点群を表す２個の奥行き画像及び２個のテクスチャ画像の符号化／復号を記述しているが、点群のシーケンス（時間的に動的な点群）を表す奥行き画像の２個のシーケンス（ビデオ）及びテクスチャ画像の２個のシーケンス（ビデオ）の符号化／復号に拡張し、その理由は、点群のシーケンスの１つの点群のジオメトリ（２個の奥行き画像）及びテクスチャ（色）が次いで、当該点群のシーケンスの別の点群のジオメトリ（２個の奥行き画像）及びテクスチャ（色）とは独立に符号化／復号されるためである。

上で説明したように、点群は投影面に正射され、前記投影された３Ｄ点に関連付けられた奥行き値から２個の奥行き画像Ｄ０、Ｄ１が取得される。Ｄ０は点群の最近点の奥行き値を表す第１の奥行き画像であり、Ｄ１は点群の最遠点の奥行き値を表す第２の奥行き画像である。第１の奥行き画像Ｄ０は、例えば従来の画像／ビデオエンコーダを用いて符号化される。

以下において、用語「画像領域」は少なくとも１つの画像のピクセルの組を示す。これらのピクセルは近傍のピクセルであってもなくてもよく、及び／又は同一画像に属していても又は属していなくてもよいが、それら全てが少なくとも１つの共通特性を共有している。

例えば、画像全体自身を画像領域と見なしてよい。１つの画像はまた、複数のブロックに分割することができ、１つのブロック又は複数ブロックの集団が画像領域となる。

１つの画像領域はまた、非矩形の形状を有していてもよい。これは例えば、抽出された同一（又は類似）機能を有する１つの画像の複数のピクセルが関連付けられて画像領域を形成する場合である。１つの画像領域はＴＭＣ２に定義されているようなパッチであってよい。

画像から抽出された特徴の例として色、テクスチャ、法線ベクトル等が挙げられる。

図１に、本実施形態の一例による、点群の複数の点の奥行き値を符号化する方法１００のステップを模式的に示す。

ステップ１１０において、モジュールＭ１は、点群ＰＣの少なくとも１つの点から、点群ＰＣの前記少なくとも１つの点を投影面上に投影することにより、少なくとも１つの第１の点Ｐ０（ｐ）を取得する。

例えば、正射投影を用いてよい。

各第１の点Ｐ０（ｐ）に対して、ステップ１００において、モジュールＭ１はまた、前記第１の点Ｐ０（ｐ）に従い決定された点群ＰＣの少なくとも１つの他の点Ｐ（ｎ，０）を取得する。点Ｐ（ｎ，０）は、Ｎ個の点の組の１つの点ｎを指し、添え字０は第１の点Ｐ０（ｐ）を示す。

ステップ１１０の一実施形態によれば、第１の点Ｐ０（ｐ）に対応する点群ＰＣの少なくとも１つの他の点Ｐ（ｎ，０）が前記第１の点Ｐ０（ｐ）周辺の近傍に属する。

一実施形態によれば、第１の点Ｐ０（ｐ）に対応する近傍は、前記第１の点Ｐ０（ｐ）に近い、例えばこれらの点と第１の点Ｐ０（ｐ）との空間距離が所与の値を下回る場合に、点群ＰＣの複数の点を含んでいる。

一実施形態によれば、近傍の複数の点は全て第１の点Ｐ０（ｐ）に整列している。

一実施形態によれば、第１の点Ｐ０（ｐ）に関連付けられた近傍が、前記第１の点Ｐ０（ｐ）に対して決定された補間符号化モードＩＣＭに従い定義される。

近傍を定義するとは、要素、空間距離等の個数を定義することを意味する。

一実施形態によれば、第１の点Ｐ０（ｐ）に関連付けられた近傍は、当該第１の点Ｐ０（ｐ）の周辺の画像領域である。

ステップ１２０において、モジュールＭ２が、前記少なくとも１つの第１の点Ｐ０（ｐ）から取得された少なくとも１つの再構築された点

を取得する。

ステップ１２０の一実施形態によれば、少なくとも１つの再構築された点

を、第１の点Ｐ０（ｐ）を符号化及び復号することにより取得する。

ステップ１３０において、モジュールＭ３が、点群ＰＣの前記少なくとも１つの他の点Ｐ（ｎ，０）を近似すべく、前記少なくとも１つの第１の点Ｐ０（ｐ）から取得された（ステップ１２０）少なくとも１つの再構築された点

及び前記少なくとも１つの補間符号化モードＩＣＭにより定義された少なくとも１つの補間点ＰＩ（ｉ，０）に基づいて前記少なくとも１つの第１の点Ｐ０（ｐ）に対して少なくとも１つの補間符号化モードＩＣＭを決定する。

補間点ＰＩ（ｉ，０）は、第１の点Ｐ０（ｐ）（添え字０）に対応するＩ個の補間点の組に属する１つの補間点ｉを示す。

ステップ１４０において、モジュールＭ４が、前記少なくとも１つの第１の点Ｐ０（ｐ）及び前記少なくとも１つの補間符号化モードＩＣＭをビットストリームＢＴに符号化する。

ステップ１２０又は１４０の一実施形態によれば、前記少なくとも１つの第１の点Ｐ０（ｐ）の奥行き値を、例えばＨＥＶＣエンコーダ／デコーダ又はＴＭＣ２により指定されたようなエンコーダ／デコーダ等、ビットストリームＢＴの従来の画像エンコーダにより符号化された第１の奥行き画像Ｄ０に割り当てる。

ステップ１２０において当該実施形態によれば、第１の奥行き画像Ｄ０を復号することにより復号第１の奥行き画像

が取得され、前記少なくとも１つの再構築された点

は復号された第１の奥行き画像

のピクセルである。

ステップ１３０の一実施形態によれば、第１の点Ｐ０（ｐ）の補間符号化モードＩＣＭの判定は、候補補間符号化モードＣＩＣＭ_kに従い定義された少なくとも１つの補間点ＰＩ_k（ｉ，０）（ｉ＝１，．．．，Ｉ_k）により第１の点Ｐ０（ｐ）に関連付けられた少なくとも１つの他の点Ｐ（ｎ，０）（ｎ＝１，．．．，Ｎ）の特定の符号化を示す少なくとも１つの候補補間符号化モードＣＩＣＭ_kに関連付けられたレート歪みコストＲＤＣ_kに基づいている。

１つの補間点ＰＩ_k（ｉ，０）は第１の点Ｐ０（ｐ）（添え字０）に対応するＩ_k個の補間点の組に属する補間点ｉを指し、Ｉ_kは候補補間符号化モードＣＩＣＭ_kに従い定義された整数値である。

ステップ１３０の一実施形態によれば、レート歪みコストＲＤＣ_kは、ラグランジアン
ＲＤＣ_k＝Ｄ_k＋λ_k・Ｒ_k
により与えられ、ここで、Ｄ_kは候補補間符号化モードＣＩＣＭ_kに対応する測定基準、Ｒ_kは候補補間符号化モードＣＩＣＭ_kを符号化するビットレート、及びλ_kは前記候補補間符号化モードＣＩＣＭ_kに対応するラグランジュ乗数である。

ラグランジュ乗数λ_kに関して、当該乗数の値が大きければビットレートＲ_kを強く阻害して符号化品質の低下を招く一方、当該乗数の値が小さければビットレートなＲ_kの値が容易に増大して符号化品質が向上する。当該乗数は、画像符号化に用いられる量子化パラメータ（ＱＰ）と相関を有していてよい。当該乗数の典型的な値は、極めて低品質の符号化では数百から、良好な符号化では十分の一の範囲にある。これらの値は指標値であり、ビデオ内容に依存する場合もある。

ステップ１３０の一実施形態によれば、補間符号化モードＩＣＭは、最低レート歪みコストＲＤＣ_kに関連付けられた候補補間符号化モードＣＩＣＭ_kであってよい。

ステップ１３０の一実施形態によれば、前記レート歪みコストＲＤＣ_kは、Ｉ_k個の補間点ＰＩ_k（ｉ，０）と他のＮ個の点Ｐ（ｎ，０）との間の空間距離を示す測定基準に基づいている。

一実施形態によれば、測定基準Ｄ_kは次式により与えられる。
Ｄ_k＝Ｍａｘ（ｄｉｓｔ_point（Ａ，Ｂ）；ｄｉｓｔ_point（Ｂ，Ａ））
但し

ここで、

は点の組Ａの１つの点Ｐ（ｎ，０）と点の組Ｂの最近補間点ＰＩ_k（ｉ，０）との間の空間距離を示す測定基準である。例えば、測定基準としてユークリッド距離を使用し、ＡにおけるＢの最近点Ｐ（ｎ，０）は次式で定義される補間点Ｐｌ_k（ｉ，０）である。

距離ｄｉｓｔ_point（Ａ，Ｂ）は、再構築された点が第１の点から離れ過ぎないことを保証して符号化に無関係な点を除外する。距離ｄｉｓｔ_point（Ｂ，Ａ）は、第１の点が再構築された点から離れ過ぎないことを保証する。

一変型例によれば、本方法はレート歪みコストを計算する前に組Ａの複製を除去することを含んでいる。

ステップ１３０の一実施形態によれば、少なくとも１つの候補補間符号化モードＣＩＣＭ_kを、再構築された点

の奥行き値から最大奥行き値までの範囲にわたる奥行き値が関連付けられた少なくとも１つの補間点ＰＩ_k（ｉ，０）を生成することにより定義する。

図２に示すステップ１３０の前記実施形態の一変型例によれば、少なくとも１つの候補補間符号化モードＣＩＣＭ_kが以下のように定義される。

ステップ１３００において、最大奥行き差（距離）

を、再構築された点

に関連付けられた奥行き値

と、少なくとも１つの点Ｐ（ｎ，０）の奥行きＤ（ｎ，０）との間で計算する。

一変型例によれば、

とＤ（ｎ，０）の差は、下限ＬＢ及び上限ＵＢにより定義される値の所与の範囲に属する場合は無視される。例えば、ＬＢ＝０且つＵＢ＝４である。

値の所与の範囲に属する差が無い場合、最大奥行き差

を１に設定してよい。

次いで、例えばＬＢ及びＵＢの異なる値を選択することにより、複数の候補補間符号化モードＣＩＣＭ_kを決定することができる。この場合、デコーダは補間符号化モードＩＣＭ_kの特定の値からこれらの値を事前に認識しているため、限界ＬＢ及びＵＢを送信する必要がない。

典型的には、ＬＢ＝０且つＵＢ＝１で１つの候補補間モードを、ＬＢ＝０且つＵＢ＝２で別の１つ、ＬＢ＝０且つＵＢ＝４で更に別の１つを定義することができる。

ステップ１３１０において、最大奥行き差（距離）

に従い少なくとも１つの補間点を生成する。

図３に示すステップ１３１０の一変型例によれば、ＵＢ（閾値）＝４の場合、生成された全ての補間点が再構築された点

に整列しており、新たな補間点に奥行き値を連続的に割り当てる際にステップサイズ１を用いる。

より詳細には、少なくとも１つの補間点を以下のように作成する。
・

が０又は１に等しい場合、

と同一奥行き値を有する同一位置ｐに単一の補間点を生成する。図３において、×印２０は点

と重なっている。
・

が１よりも大きい場合、

と同一位置ｐを少なくとも１つの補間点を生成し、生成された各補間点には、再構築された点

の奥行き値から最大奥行き値までの範囲の奥行き値が関連付けられていて、新たに生成された補間点に奥行き値を連続的に割り当てる際にステップサイズ１を用いる。

図３において、補間点を×印２１で表している。

図３では明快さのため単一の点Ｐ（ｎ，０）だけを示していることに注意されたい。

図３ａに示す一変型例によれば、全て補間点を同一軸に沿って（すなわち現在点の上に）整列するのではなく、補間点の上半分がｄｅｌｔａＭａｘの値を設定する近傍点に整列している。

一変型例によれば、最大奥行き差は少なくとも最小値ｍｉｎＤｅｐｔｈに等しい。

ここで、ｍｉｎＤｅｐｔｈは再構築される表面の厚さに依存する所与の値である。

次いで複数の候補補間符号化モードＣＩＣＭ_kを、ｍｉｎＤｅｐｔｈの異なる値、典型的には０、１又は２を選択することにより決定することができる。

ステップ１３０の一実施形態によれば、レート歪みコストＲＤＣ_kはまた、Ｉ_k個の補間点ＰＩ_k（ｉ，０）の色と、他のＮ個の点Ｐ（ｎ，０）の色との間の色距離を示す測定基準に基づいている。

一実施形態によれば、測定基準Ｄ_kは次式で与えられる。
Ｄ_k＝Ｍａｘ（ｄｉｓｔ_geo+text（Ａ，Ｂ）；ｄｉｓｔ_geo+text（Ｂ，Ａ））
但し

ここで、μは係数が例えば０．２５に等しい重み係数であり、

但し、
Ｄ_y＝Ｙ_p−Ｙ_{closest(P(n,0) ,B)}
Ｄ_u＝Ｕ_p−Ｕ_{closest(P(n,0) ,B)}
Ｄ_v＝Ｖ_p−Ｖ_{closest(P(n,0) ,B)}であり、
三つ組（Ｙ_p，Ｕ_p，Ｖ_p）はＹＵＶ色空間内の点Ｐ（ｎ，０）の色を示し、三つ組（Ｙ_{closest(P(n,0) ,B)}，Ｕ_{closest(P(n,0) ,B)}，Ｖ_{closest(P(n,0) ,B)}）はＹＵＶ色空間内の前記点Ｐ（ｎ，０）に最も近い補間点Ｐｌ_k（ｉ，０）の色を示す。

一実施形態によれば、少なくとも１つの候補補間符号化モードＣＩＣＭ_kはまた、少なくとも１つの補間点にどのように色が割り当てられるかを定義する。

一実施形態によれば、補間点に割り当てられた色は、前記補間点に最も近い再構築された点の色である。

一変型例において、補間点に割り当てられた色は、前記補間点の近傍の再構築された色の関数である。関数は、例えば加重平均、最大又は最小を意味する。

ステップ１１０の一実施形態によれば、近傍とは画像領域であり、すなわち第１の点Ｐ０（ｐ）に関連付けられた点群ＰＣの前記少なくとも１つの他の点Ｐ（ｎ，０）は画像領域に属する。

一実施形態によれば、レート歪みコストは、前記画像領域の画像部分領域に対して決定されたレート歪みコストを加算することにより取得される。

一実施形態によれば、レート歪みコストは、異なる形状及び／又は異なる大きさの複数の画像領域に対して決定され、画像領域の形状及び／又は大きさと、前記最小レート歪みコストに関連付けられた補間符号化モードが選択される。

ステップ１４０の一実施形態によれば、補間符号化モードＩＣＭは、画像領域に関連付けられたメタデータとして符号化される。

一変型例において、２個の異なる画像領域に割り当てられた２個の補間符号化モード間の差異がメタデータとして符号化される。

例えば、パッチ毎に、各モードＲＤＣ_k（又は２個のＲＤＣ_kの差異）が以下のようにビットストリームＢＴ内の各パッチ_kに対してシグナリングされる。

例えば、ブロック毎に、各モードＲＤＣ_k（又は２個のＲＤＣ_kの差異）がビットストリームＢＴの各ブロックｋに対してシグナリングされる。

図４に、本実施形態の一例による、ビットストリームから点群の点の奥行き値を復号する方法２００のステップを模式的に示す。

ステップ２１０において、モジュールＭ５はビットストリームＢＴから少なくとも１つの再構築された点

を取得する。

ステップ２１０の一実施形態によれば、モジュールＭ５はビットストリームＢＴを復号することにより復号された第１の奥行き画像

を取得して、前記復号された第１の奥行き画像

の少なくとも１つのピクセルに対応する少なくとも１つの再構築された点

を考慮する。

ステップ２２０において、モジュールＭ６はビットストリームＢＴから少なくとも１つの補間符号化モードＩＣＭを取得し、補間符号化モードＩＣＭが、前記少なくとも１つの再構築された点の近傍の少なくとも１つの点が少なくとも１つの他の補間点によりどのように近似されるかを示している。

ステップ２２０の一実施形態によれば、少なくとも１つの補間符号化モードＩＣＭが、ビットストリームＢＴから抽出されたメタデータから取得される。

ステップ２３０において、モジュールＭ７が、少なくとも１つの再構築された点

の少なくとも１つの補間点ＰＩ（ｉ，０）を生成し、前記少なくとも１つの補間符号化モードＩＣＭに従い、前記少なくとも１つの補間点の各々に奥行き値が関連付けられている。

次いで再構築された点群が、再構築された点

及び補間点ＰＩ（ｉ，０）から取得される。

ステップ２３０の一実施形態によれば、前記少なくとも１つの補間点に関連付けられた奥行き値は、再構築された点

の奥行き値から最大奥行き値までの範囲にある。

一実施形態によれば、再構築された点

に対応する全ての生成された補間点が、再構築された点

に整列され、新たな補間点に奥行き値を連続的に割り当てる際にステップサイズ１が用いられる。

ステップ２３０の前記実施形態の一変型例によれば、図２に示すようにステップ１３０の実施形態の一変型例に従い少なくとも１つの補間点が生成される。

本方法の一実施形態によれば、ステップ２１０において、本方法は更に、少なくとも１つの再構築された点

を含む少なくとも１つの画像領域を取得することを含んでいる。

ステップ２２０において、次いで補間符号化モードＩＣＭが画像領域毎にビットストリームＢＴから取得され、前記補間符号化モードＩＣＭは、画像領域内の複数の点が少なくとも１つの他の補間点によりどのように近似されるかを示している。

ステップ２３０において、次いで画像領域毎に少なくとも１つの補間点が、前記画像領域に関連付けられた補間符号化モードＩＣＭに従い生成され、前記少なくとも１つの補間点の各々に奥行き値が関連付けられている。

図５に、ジオメトリを符号化する方法及びＴＭＣ２に定義された点群のテクスチャを模式的に示す。

基本的に、エンコーダは、第１（Ｄ０）及び第２（Ｄ１）の奥行き画像内の点群ＰＣのジオメトリ情報を捕捉する。

一例として、第１及び第２の奥行き画像は以下のようにＴＭＣ２に取得される。

奥行きパッチ（点群ＰＣの３Ｄ点の組）は、これらの点で法線ベクトルに従い点群ＰＣの複数の点をクラスタリングすることにより取得される。抽出された全ての奥行きパッチは次いで、未使用空間の最小化を試みながら、２Ｄ格子に、当該格子の全てのＴ×Ｔ（例：１６×１６）ブロックが一意なパッチに関連付けられていることを保証しながら、投影及びパッキングされ、Ｔはビットストリームにシグナリングされたユーザー定義パラメータである。

次いで奥行き画像が、パッキング処理を通じて計算された３Ｄから２Ｄへのマッピング、より具体的には各パッチの投影領域のパッキング位置及び大きさを利用することにより生成される。より厳密には、Ｈ（ｕ，ｖ）を同一ピクセル（ｕ，ｖ）に投影された現在のパッチの点の組とする。最も近い層又は第１の奥行き画像Ｄ０とも呼ばれる第１層は最小奥行き値を有するＨ（ｕ，ｖ）の点を保存する。最も遠い層又は第２の奥行き画像Ｄ１とも呼ばれる第２層は、区間［Ｄ，Ｄ＋Δ］内で最大の奥行き値を有するＨ（ｕ，ｖ）の点を捕捉し、Ｄは第１の奥行き画像Ｄ０内のピクセルの奥行き値、Δは表面の厚さを記述するユーザー定義パラメータである。

第１の奥行き画像Ｄ０は次いでパッキング処理を出力する。パディング処理も用いて、ビデオ圧縮に適した区分的に滑らかな第１の奥行き画像を生成すべくパッチ間の空白を埋める。

生成された奥行き画像／層Ｄ０及びＤ１は次いで、ビデオフレームとして保存され、ＨＥＶＣ等、任意の従来型ビデオコーデックを用いて圧縮される。

エンコーダはまた、第１及び第２の奥行き画像を符号化／復号して、前記復号された第１及び第２の奥行き画像

を逆投影することにより点群のジオメトリを再構築することにより２個のテクスチャ画像内の元の点群ＰＣのテクスチャ情報を捕捉する。再構築されたならば、再構築された点群の各点に、色情報符号化エラーを最小化するように元の点群ＰＣの色情報から色が割り当てられる（色変換）。

一実施形態によれば、各々の再構築された点に対して、元の点群における最近点の色が符号化される自身の色として割り当てられる。

次いで第１及び第２のテクスチャ画像Ｔ０、Ｔ１が、奥行き画像と同一位置、すなわち（ｉ，ｕ，ｖ）にある各々の再構築された点の符号化される色情報を保存することにより生成される。

図６に、図５の符号化方法における方法１００及び２００の一使用例を模式的に示す。

本例によれば、図５の第２の奥行き画像Ｄ１の符号化が図１の符号化方法１００で代替され、図５の第２の奥行き画像

の復号が図４の復号方法２００で代替される。

図６ａに示す一変型例において、図５の第１及び第２の奥行き画像の符号化が図１の符号化方法１００に関連付けられ、図５の第１及び第２の奥行き画像の復号が図４の復号方法２００に関連付けられている。

図７に、従来技術（ＴＭＣ２）で定義された点群のジオメトリ及びテクスチャを復号する方法を模式的に示す。

復号された第１の奥行き画像

及び復号された第２の奥行き画像

がビットストリームＢＴを復号することにより取得される。恐らくメタデータもまた点群

のジオメトリを再構築すべく復号される。

点群のジオメトリは従って、前記復号された第１及び第２の奥行き画像並びに恐らくは前記メタデータを逆投影することにより再構築される。

図８に、図７の復号方法における方法２００の一使用例を模式的に示す。

本例によれば、図７の第１及び第２の奥行き画像の復号が図４の復号方法により代替される。

図８ａに示す一変型例において、図７の第１及び第２の奥行き画像の復号が図４の復号方法２００に関連付けられている。

図１〜８ａにおいて、モジュールは機能ユニットであり、区別可能な物理ユニットと関連していてもいなくてもよい。例えば、これらのモジュール又はその一部が、一意な要素又は回路にまとめられていてよく、又はソフトウェアの機能に寄与することができる。逆に、いくつかのモジュールは潜在的に別個の物理的実体からなっていてよい。本実施形態と互換性を有する装置は、純粋のハードウェアを用いて、例えばＡＳＩＣ又はＦＰＧＡ或いはＶＬＳＩ（各々「特定用途向け集積回路」、「フィールドプログラマブルゲートアレイ」、「超大規模集積回路」）等の専用ハードウェアを用いて、又は機器に埋め込まれたいくつかの一体化電子部品、或いはハードウェア及びソフトウェア部品の組み合わせにより実装される。

図９に、各種の態様及び実施形態が実装されたシステムの一例のブロック図を示す。システム９０００は、後述の各種要素を含む機器として実現され得、本出願に記述する１つ以上の態様を実行すべく構成されている。このような機器の例として、各種の電子機器、例えばパーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、個人ビデオ録画システム、接続された家電製品、及びサーバが含まれるがこれらに限定されない。システム９０００の素子は、単独に又は組み合わせて、単一の集積回路、複数のＩＣ、及び／又は離散的要素に実装することができる。例えば、少なくとも一つの実施形態において、システム９０００の処理及びエンコーダ／デコーダ素子は、複数のＩＣ及び／又は離散的要素にわたり分散されている。各種実施形態において、システム９０００は、例えば通信バスを介して、又は専用の入力及び／又は出力ポートを通して、他の類似システム又は他の電子機器に通信可能に結合されている。各種実施形態において、システム９０００は本明細書に記述する１つ以上の態様を実装すべく構成されている。

システム９０００は、例えば本明細書に記述する各種態様を実行すべくロードされた命令を実行すべく構成された少なくとも１つのプロセッサ９０１０を含んでいる。プロセッサ９０１０は、埋め込みメモリ、入出力インターフェース、及び当該技術分野で公知の各種の他の回路を含んでいてよい。システム９０００は、少なくとも１つのメモリ９０２０（例：揮発性メモリ素子及び／又は不揮発性メモリ素子）を含んでいる。システム９０００は、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ及び／又は光ディスクドライブを含むがこれらに限定されない記憶装置９０４０を含む不揮発メモリ及び／又は揮発性メモリを含んでいてよい。記憶装置９０４０は、非限定的な例として、内部記憶装置、外付け記憶装置、及び／又はネットワークアクセス可能な記憶装置を含んでいてよい。

システム９０００は、例えば符号化ビデオ又は復号ビデオを提供すべくデータを処理すべく構成されたエンコーダ／デコーダモジュール９０３０を含み、エンコーダ／デコーダモジュール９０３０は自身のプロセッサ及びメモリを含んでいてよい。エンコーダ／デコーダモジュール９０３０は、符号化及び／又は復号機能を実行すべく装置に含まれていてよいモジュールを表す。公知のように、１つの装置が符号化及び復号モジュールの一方又は両方を含んでいてよい。また、エンコーダ／デコーダモジュール９０３０は、システム９０００の別個の要素として実装されていても、又は当業者には公知のようにハードウェア及びソフトウェアの組み合わせとしてプロセッサ９０１０内に組み込まれていてよい。

本明細書に記述する各種の態様を実行すべくプロセッサ９０１０又はエンコーダ／デコーダ９０３０にロードされるプログラムコードは、記憶装置９０４０に保存されて、次いでプロセッサ９０１０により実行すべくメモリ９０２０にロードされてよい。各種実施形態によれば、プロセッサ９０１０、メモリ９０２０、記憶装置９０４０、及びエンコーダ／デコーダモジュール９０３０のうち１つ以上が、本明細書に記述する処理を実行する間、１つ以上の各種項目を保存することができる。保存されたそのような項目は、入力ビデオ、復号ビデオ、点群、再構築された点群又は復号ビデオの一部、ビットストリーム、マトリクス、変数、及び数式、公式、動作、及び動作論理の処理から中間又は最終結果を含んでいてよいが、これらに限定されない。

いくつかの実施形態において、プロセッサ９０１０及び／又はエンコーダ／デコーダモジュール９０３０内のメモリを用いて命令を保存して、符号化又は復号に際して必要な処理用の作業メモリを提供する。

しかし他の実施形態では、これらの機能の１つ以上に対して処理装置（例：処理装置はプロセッサ９０１０又はエンコーダ／デコーダモジュール９０３０のいずれかであってよい）の外部メモリが用いられる。外部メモリは、メモリ９０２０及び／又は記憶装置９０４０、例えば動的揮発性メモリ及び／又は不揮発性フラッシュメモリであってよい。いくつかの実施形態において、外部不揮発性フラッシュメモリを用いてテレビのオペレーティングシステムを保存する。少なくとも一つの実施形態において、ビデオ符号化及び復号動作、例えばＭＰＥＧ−２、ＨＥＶＣ、ＶＶＣ（多用途ビデオ符号化）又はＴＭＣ２用にＲＡＭ等の高速外部動的揮発性メモリが作業メモリとして用いられる。

システム９０００の要素への入力はブロック９１３０に示すような各種の入力装置を介して提供することができる。このような入力装置は（ｉ）例えばブロードキャスタにより無線送信されたＲＦ信号を受信するＲＦ部、（ｉｉ）複合入力端末、（ｉｉｉ）ＵＳＢ入力端末、及び／又は（ｉｖ）HDMI入力端末を含むがこれらに限定されない。

各種実施形態において、ブロック９１３０の入力装置には当該技術分野で公知の各入力処理要素が関連付けられている。例えば、ＲＦ部には（ｉ）所望の周波数を選択すること（信号選択、又は複数周波数の帯域への信号の帯域制限とも呼ばれる）、（ｉｉ）選択信号の下方変換、（ｉｉｉ）（例えば）特定の実施形態でチャネルとも呼ばれる信号周波数帯を選択すべく複数周波数のより狭い帯域への再帯域制限、（ｉｖ）下方変換及び帯域限定された信号の復調、（ｖ）誤り訂正の実行、及び（ｖｉ）データパケットの所望のストリームを選択するための非多重化に必要な要素が関連付けられていてよい。各種実施形態のＲＦ部は、これらの機能を実行する１つ以上の要素、例えば周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。ＲＦ部は、例えば受信した信号のより低い周波数（例：中間周波数又は近ベースバンド周波数）又はベースバンドへの下方変換を含むこれらの機能の多くを実行するチューナを含んでいてよい。

セットトップボックスの一実施形態において、ＲＦ部及び関連付けられた入力処理要素は、有線の（例：ケーブル）媒体を介して送信されたＲＦ信号を受信して、フィルタリング、下方変換、及び再度フィルタリングにより周波数選択を実行して所望の周波数帯が得られる。

各種実施形態は、上述の（及び他の）要素の順序を再配置し、これらの要素のいくつかを除去する、及び／又は類似又は異なる機能を実行する他の要素を追加する。

要素の追加は、既存の要素の間への挿入要素、例えば増幅器及びアナログ／デジタル変換器の挿入を含んでいてよい。各種実施形態において、ＲＦ部はアンテナを含んでいる。

また、ＵＳＢ及び／又はHDMI端末は、ＵＳＢ及び／又はHDMI接続を介してシステム９０００を他の電子機器に接続するための各インターフェースプロセッサを含んでいてよい。入力処理の各種の態様、例えばリードソロモン誤り訂正が必要に応じて例えば別個の入力処理ＩＣ内又はプロセッサ９０１０内に実装できることを理解されたい。同様に、ＵＳＢ又はHDMIインターフェース処理の態様は、必要に応じて別個のインターフェースＩＣ内又はプロセッサ９０１０内に実装することができる。復調及びエラー訂正され、且つ非多重化されたストリームは、各種の処理要素、例えばプロセッサ９０１０、及び出力装置での表示のため必要に応じてデータストリームを処理すべくメモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ９０３０に送られる。

システム９０００の各種の要素は、一体化された筐体内に設けられていてよい。各種の要素は、一体化された筐体内で相互接続されていて、適当な接続構成、例えばＩ２Ｃバスを含む当該技術分野で公知の内部バス、配線、及び印刷基板を用いて互いにデータを送信することができる。

システム９０００は、通信チャネル９０６０を介して他の機器との通信を可能にする通信インターフェース９０５０を含んでいる。通信インターフェース９０５０は、通信チャネル９０６０を介してデータを送受信すべく構成されたトランシーバを含むが、これに限定されない。通信インターフェース９０５０はモデム又はネットワークカードを含んでいてよいがこれらに限定されず、通信チャネル９０６０は、例えば有線及び／又は無線媒体内に実装することができる。

データは各種実施形態において、ＩＥＥＥ８０２．１１等のWi-Fiネットワークを用いてシステム９０００にストリーミングされる。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適合された通信チャネル９０６０及び通信インターフェース９０５０を介して受信される。これらの実施形態の通信チャネル９０６０は典型的に、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを可能にするアクセス点又はルータに接続されている。

他の実施形態は、入力ブロック９１３０のHDMI接続を介してデータを配信するセットトップボックスを用いてシステム９０００にストリーミングデータを提供する。

更に他の実施形態が入力ブロック９１３０のＲＦ接続を用いてシステム９０００にストリーミングデータを提供する。

システム９０００は、ディスプレイ９１００、スピーカー９１１０、及び他の周辺装置９１２０を含む各種の出力装置に出力信号を与えることができる。他の周辺装置９１２０は、実施形態の各種の例において、スタンドアローンＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、システム９０００の出力に基づいて機能を提供する他の１つ以上の装置を含んでいる。

各種実施形態において、ＡＶ．Ｌｉｎｋ、ＣＥＣ等のシグナリング、又はユーザーの介在の有無に依らず装置同士の制御を可能にする他の通信プロトコルを用いて、システム９０００とディスプレイ９１００、スピーカー９１１０、又は他の周辺装置９１２０との間で制御信号が受け渡される。

出力装置は、各インターフェース９０７０、９０８０、及び９０９０を通じて専用接続を介してシステム９０００に通信可能に結合されていてよい。

代替的に、出力装置は、通信チャネル９０６０を用いて通信インターフェース９０５０を介してシステム９０００に接続されていてよい。ディスプレイ９１００及びスピーカー９１１０は、例えばテレビ等の電子機器内でシステム９０００の他の要素と単一ユニットに一体化されていてよい。

各種実施形態において、表示インターフェース９０７０は例えばタイミングコントローラ（ＴＣｏｎ）チップ等のディスプレイドライバを含んでいる。

ディスプレイ９１００及びスピーカー９１１０は代替的に、例えば入力９１３０のＲＦ部が別個のセットトップボックスの一部である場合、１つ以上の他の要素とは別個であってよい。ディスプレイ９１００及びスピーカー９１１０が外部要素である各種実施形態において、出力信号は例えばHDMIポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用出力接続を介して与えることができる。

図１０に示す本実施形態の一例によれば、通信ネットワークＮＥＴを介した２個の遠隔装置ＡとＢの間の送信に際して、装置Ａは、図１〜３ａ又は図５〜６との関連で記述した方法を実装すべく構成されたメモリＲＡＭ及びＲＯＭに関連するプロセッサを含み、装置Ｂは、図４又は図７〜８との関連で記述した方法を実装すべく構成されたメモリＲＡＭ及びＲＯＭと関連するプロセッサを含んでいる。

一例によれば、当該ネットワークは、装置Ａからの装置Ｂを含む復号装置へ静止画像又はビデオ画像をブロードキャストすべく適合されたブロードキャストネットワークである。

装置Ａによる送信を意図された信号がビットストリームＢＴを担持する。

ビットストリームＢＴは、１つの点群の複数の点の奥行き値を表す符号化データを含んでいる。当該点群の少なくとも１つの再構築された点、及び前記少なくとも１つの再構築された点の近傍の少なくとも１つの点が少なくとも１つの他の補間点によりどのように近似されるかを示す少なくとも１つの補間符号化モードを含んでいる。

前記符号化データは、例えば図１〜３ａとの関連で記述したように取得される。

図１１に、パケット方式の送信プロトコルを介してデータが送信された場合におけるこのような信号の構文の一例を示す。各々の送信されたパケットＰは、ヘッダＨ及びペイロードＰＡＹＬＯＡＤを含んでいる。例えばヘッダＨの１ビットが、補間符号化モードＩＣＭを表す専用ビットである。従って、ヘッダＨの少なくとも１ビットは、少なくとも１つの補間符号化モードＩＣＭを表す専用ビットである。

ＴＭＣ２における空間適合再構築モードの実装は以下の通りである。
１．単一の奥行き及びテクスチャ層の符号化の可能性：現在、ＴＭＣ２は常に二つの層を符号化する。エラー！参照元不明。
これは、ＧＯＰレベルでのエンコーダパラメータ／ビットストリームパラメータ、すなわち奥行き及びテクスチャ層の個数（両方で等しい）の信号への追加により実装される。
２．単層モードにおける、点局所再構築モード（ＰＬＲＭ）と呼ばれる点再構築モードを局所的に適合させる最適化フレームワークの点群の特徴への使用。最適化は、エンコーダにおけるＲＤＯ的アプローチを用いて、点毎に使用する局所再構築モードをデコーダが知るように要求されたシグナリングをビットストリームに追加することで実行される。これは、ある領域の大きさで（占有マップ解像度でのブロック、文献では１６×１６ピクセル）で実行される。当該処理は点局所再構築フレームワーク（ＰＬＲＦ）と称する。

ＰＬＲＭのシグナリングは専用の算術エンコーダを必要とし、エンコーダ及びデコーダの複雑さが増す。

少なくとも一つの実施形態は、点局所再構築モードＰＬＲＭ、すなわち少なくとも１つの補間符号化モードに関するデータを画像データとして搬送（シグナリング）することに関する。

予測される各モードは、（算術エンコーダを用いて）補助パッチ情報に符号化されたメタデータ情報をパッチするブロックに符号化される。現在の実装では最大１０個の異なるモードを試す。図１２に、エンコーダ側で決定された異なるモードと、レート及び構成（全てイントラモード、ランダムアクセスモード）を考慮したＴＭＣ２ｖ３．０ソフトウェアにおける各モードの使用の分布を示す。

実装に際して、ＰＬＲＭに関するデータが、メタデータをパッチするブロックを用いてデコーダへ送られ、算術エンコーダにより符号化される。

占有マップ（占有マップ精度Ｂ０×Ｂ０ブロック、すなわち４×４ピクセル）は、（ＨＥＶＣを用いて）ビデオとして符号化されている。占有マップは、格子の各セル毎に空の空間又は点群のいずれに属するかを示すバイナリマップを含んでいる。占有マップの使用は、このような情報を搬送（シグナリング）すべくＰＬＲＦのケースに拡張できる。

本実施形態の少なくとも一つは、ＰＬＲＭを、そのような情報を現在のＴＭＣ２に符号化する際に使用できる最も可能性が高いモードである占有マップに符号化する仕方に関する。

主たる発想は、占有マップが点局所再構築モードに関する情報の搬送にどのように使用できるかを示すことである。現在まで、占有マップは、図１２に示すように、対応する３Ｄブロック（点群）が空であることを示す「０」、又は３Ｄブロックが完全に占有されていることを示す「１」を含んでいる。少なくとも一つの実施形態が、ＰＬＲＭを示すより多くの値を取得する。

より詳細には、本実施形態の少なくとも一つは以下の方法に関する。
各ブロックにおいて占有マップ精度（４＊４）でＰＬＲＭは以下のように設定される。
−ブロックが空ならばブロックは０に設定される。
−ブロックが占有されていれば、ブロックに割り当てられる値は範囲［１．．．Ｎ］の点局所再構築モードに対応し、Ｎは適用する点局所再構築モードの最大個数である。値「１」は依然としてブロックが占有されていることを示し、本モードでは再構築された点群に補足点は追加されないことに注意されたい。

一実装によれば、点局所再構築モードが占有マップ解像度（１６＊１６）であるため、占有マップ精度（４＊４）での各ブロックに関する情報は、当該ブロックが占有されていなく且つその場合に０に設定されていない限り繰り返される。

図１３ａに、ＰＬＲＭが図１３の例の占有マップにどのように符号化できるかの一例を示す。同図は４個のモード「１」、「２」、「５」及び「７」の使用を示している。「０」は再構築されたブロックが空であることを意味する。

ＰＬＲＭが占有精度（４＊４）で実行できることに注意されたい。その場合、ＰＬＲＭの符号化情報は図１３ｂに示すようにブロック毎に異なり得る。これにより再構築処理の精度が高まる。

ＰＬＲＭ符号化の一変型例は、異なる種類の再構築（ＰＬＲＭ及び適用できる他の再構築方法）に値の複数の範囲を割り当てるものである。
−ブロックが空ならば、ブロックは（現時点で）０に設定される。
−ブロックが占有されていれば、ＰＬＲＭを割り当てるべく第１の範囲［０；ｍ］を、及び群再構築の別の方法を記述する情報を割り当てるべく第２の範囲［ｍ；Ｎ］予約する。

実装の別の変型例はビットマスクを用いるものである。
−ブロックが空ならば、ブロックは（現時点で）０に設定される。
−ブロックが占有されていれば、当該要素のＮビットを、
・先頭ｎビットにＰＬＲＭを割り当て、
・他方の再構築モードを示すために（Ｎ−ｎ）ビットを割り当てる
ことにより用いる。

一例として、１０ビットに符号化された要素のうち、４ビットを用いて情報「Ｉ」を符号化し、他の６個のビットを用いてＰＬＲＭ情報を符号化する。

実装の別の変型例は、ハッシュマップを用いて異なるＰＬＲＭを決定するものである。各層毎にＰＬＲＭを指定できる。

一例として、ＰＬＲＭ₀が層０の再構築符号化モードであれば、ＰＬＲＭ₁は層１の再構築符号化モード、ＰＬＲＭ₂は層２の再構築符号化モードであり、占有マップは以下のように満たすことができる。
−ブロックが空ならば、ブロックは（現時点で）０に設定される。
−ブロックが占有されていれば、ハッシュテーブルは以下の通りであり得る。

別の変型例は、占有マップの彩度要素を用いてＰＬＲＭ情報を符号化するものであり得る。

主な利点は、データを補助パッチ情報に符号化することを回避して、既存ハードウェアによる占有マップのビデオ圧縮を利用するものである。

上記は、コレクタとして点群をどのように再構築するかに関する占有マップ情報を用いる考えに従うものである。

点局所再構築モードをどのようにＴＭＣ２内へ搬送できるかに関して最もあり得るケースであることに注意されたい。

本明細書に記述した各種の処理及び特徴の実装は、各種の異なる設備又はアプリケーションにおいて実現することができる。このような設備の例として、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を与えるプリプロセッサ、ビデオコーダー、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の任意の画像又はビデオ処理装置又は他の通信装置が含まれる。明らかになるように、当該設備は移動可能であって、乗物に設置されていてもよい。

また、上述の方法はプロセッサにより実行される命令により実行されてよく、そのような命令（及び／又は実行により生成されたデータ値）は計算機可読記憶媒体に保存されてよい。計算機可読記憶媒体は、１つ以上の計算機可読媒体に実現されていてコンピュータにより実行可能な計算機可読プログラムコードを有する計算機可読プログラム製品の形式をとることができる。本明細書で用いる計算機可読記憶媒体は、情報を保存する固有の能力と合わせて情報を取り出す固有の能力が与えられた非一時的記憶媒体と考えられる。コンピュータ可読記憶媒体は例えば電子、磁気、光、電磁、赤外、又は半導体システム、装置、又は機器、或いは上述の任意の適当な組み合わせであってよいが、これらに限定されない。以下に本実施形態を適用できる計算機可読記憶媒体のより具体的な例、すなわちポータブルコンピュータディスケット、ハードディスク、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、可搬コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上述の任意の適当な組み合わせを挙げるが、当業者には容易に理解できるように単に説明目的に過ぎず、網羅的ではないことを理解されたい。

命令は、プロセッサ可読媒体に有形的に実現されたアプリケーションプログラムを形成していてよい。

命令は、例えばハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせであってよい。命令は、例えばオペレーティングシステム、別個のアプリケーション、又は両者の組み合わせに見ることができる。従ってプロセッサは、例えば、処理を実行すべく構成された装置、及び処理を実行する命令を有するプロセッサ可読媒体（記憶装置等）を含む装置として特徴付けることができる。更に、プロセッサ可読媒体は、命令に加え、又はこれに替えた、実行により生成されたデータ値を保存することができる。

当業者には明らかであろうが、複数の実装により、例えば保存又は送信可能な情報を担持すべく形式化された各種の信号を生成することができる。情報は例えば、方法を実行する命令、又は上述の実行の一つにより生成されたデータを含んでいてよい。例えば、信号は、本実施形態に記述する例の構文を読み書きする規則をデータとして担持すべく、又は本実施形態に記述する一例により書かれた実際の構文値をデータとして担持すべく形式化されていてよい。そのような信号は例えば、（例：スペクトルの無線周波数部分を用いて）電磁波として、又はベースバンド信号として形式化されていてよい。形式化は例えば、データストリームを符号化すること、及び符号化されたデータストリームと共に搬送波の変調することを含んでいてよい。信号が担持する情報は、例えばアナログ又はデジタル情報であってよい。信号は、公知のように広範な異なる有線又は無線リンクを介して送信されてよい。信号はプロセッサ可読媒体に保存されてよい。

多くの実装について記述してきた。しかし、各種の変更を加え得ることを理解されたい。例えば、異なる実装の要素の組み合わせ、補完、変更、又は除去により他の実装を行ってもよい。また、当業者には開示する構造及び処理を他の構造及び処理で代替してよく、且つ結果的に得られた実装が少なくともほぼ同じ方法で少なくとも実質的に同一の機能を発揮して、開示する実装と少なくともほぼ同一の結果を実現できることが理解されよう。従って、これら及び他の実装が本出願により考察される。

Claims (30)

1. 方法であって、
   −１つの点群の１つの３Ｄ点を投影面上に投影することにより第１の２Ｄ点を取得すること、
   −前記第１の２Ｄ点に従い少なくとも１つの他の２Ｄ点を取得すること、
   −前記少なくとも１つの他の２Ｄ点を近似すべく、前記第１の２Ｄ点の補間符号化モードを、前記第１の２Ｄ点から、及び前記補間符号化モードにより定義された少なくとも１つの２Ｄ補間点から取得された１つの再構築された２Ｄ点に基づいて決定及び符号化すること、
   を含む方法。
2. 前記少なくとも１つの他の２Ｄ点が、前記第１の２Ｄ点周辺の近傍に属する、請求項１に記載の方法。
3. 前記方法が更に、前記第１の２Ｄ点の奥行き値を第１の奥行き画像のピクセル値に割り当てること、前記第１の奥行き画像を符号化することにより符号化された第１の奥行き画像を取得すること、及び前記符号化された第１の奥行き画像を復号することにより復号された第１の奥行き画像を取得することを含み、前記再構築された２Ｄ点が前記復号された第１の奥行き画像の１つのピクセルである、請求項１又は２に記載の方法。
4. 前記補間符号化モードを決定することが、候補補間符号化モードに従い定義された少なくとも１つの２Ｄ補間点により、前記少なくとも１つの他の２Ｄ点の特定の符号化を示す少なくとも１つの候補補間符号化モードに関連付けられたレート歪みコストに基づいている、請求項１〜３のいずれか１項に記載の方法。
5. 候補補間符号化コードに関連付けられた前記レート歪みコストが、前記候補補間符号化モードに従い定義された前記少なくとも１つの２Ｄ補間点と、前記少なくとも１つの他の２Ｄ点との間の空間距離を示す測定基準に基づいている、請求項４に記載の方法。
6. 候補補間符号化コードに関連付けられた前記レート歪みコストが、前記候補補間符号化モードに従い定義された前記少なくとも１つの補間２Ｄ点の複数の色と、前記少なくとも１つの他の２Ｄ点の複数の色との間の色距離を示す測定基準にも基づいている、請求項４又は５に記載の方法。
7. 少なくとも１つの候補補間符号化モードが、前記再構築された２Ｄ点の奥行き値から最大奥行き値の範囲の奥行き値が関連付けられている、少なくとも１つの補間２Ｄ点を生成することにより定義される、請求項６に記載の方法。
8. 前記第１の２Ｄ点周辺の近傍が画像領域であり、前記少なくとも１つの他の２Ｄ点が前記画像領域に属する、請求項１に記載の方法。
9. 前記補間符号化モードがメタデータとして符号化される、請求項１に記載の方法。
10. 方法であって、
    −ビットストリームを復号することにより取得された再構築された２Ｄ点近傍の少なくとも１つの２Ｄ点が、少なくとも１つの補間２Ｄ点によりどのように近似されるかを示す前記ビットストリームから補間符号化モードを取得すること、及び
    −前記再構築された２Ｄ点に対して少なくとも１つの補間２Ｄ点を生成し、前記補間符号化モードに従い、前記少なくとも１つの補間２Ｄ点の各々に奥行き値を関連付けること、
    を含む方法。
11. 前記少なくとも１つの補間２Ｄ点に関連付けられた前記奥行き値が、前記再構築された２Ｄ点の奥行き値から最大奥行き値までの範囲にある、請求項１０に記載の方法。
12. 前記補間符号化モードが、ビットストリームから抽出されたメタデータから取得される、請求項１０又は１１に記載の方法。
13. 装置であって、
    −１つの点群の１つの３Ｄ点を投影面上へ投影することにより第１の２Ｄ点を取得し、
    −前記第１の２Ｄ点に従い少なくとも１つの他の２Ｄ点を取得して、
    −前記少なくとも１つの他の２Ｄ点を近似すべく、前記第１の２Ｄ点の補間符号化モードを、前記第１の２Ｄ点から、及び前記補間符号化モードにより定義された少なくとも１つの２Ｄ補間点から取得された１つの再構築された２Ｄ点に基づいて決定及び符号化すべく、
    構成された少なくとも１つのプロセッサを含む装置。
14. 前記少なくとも１つの他の２Ｄ点が、前記第１の２Ｄ点周辺の近傍に属する、請求項１３に記載の装置。
15. 前記少なくとも１つのプロセッサが更に、前記第１の２Ｄ点の奥行き値を第１の奥行き画像のピクセル値に割り当て、前記第１の奥行き画像を符号化することにより符号化された第１の奥行き画像を取得して、前記符号化された第１の奥行き画像を復号することにより復号された第１の奥行き画像を取得すべく構成され、前記再構築された２Ｄ点が前記復号された第１の奥行き画像の１つのピクセルである、請求項１３又１４に記載の装置。
16. 前記補間符号化モードを決定することが、候補補間符号化モードに従い定義された少なくとも１つの２Ｄ補間点により、前記少なくとも１つの他の２Ｄ点の特定の符号化を示す少なくとも１つの候補補間符号化モードに関連付けられたレート歪みコストに基づいている、請求項１３の１項に記載の装置。
17. 候補補間符号化コードに関連付けられた前記レート歪みコストが、前記候補補間符号化モードに従い定義された前記少なくとも１つの２Ｄ補間点と、前記少なくとも１つの他の２Ｄ点との間の空間距離を示す測定基準に基づいている、請求項１６に記載の装置。
18. 候補補間符号化コードに関連付けられた前記レート歪みコストが、前記候補補間符号化モードに従い定義された前記少なくとも１つの補間２Ｄ点の複数の色と、前記少なくとも１つの他の２Ｄ点の複数の色との間の色距離を示す測定基準にも基づいている、請求項１６又は１７に記載の装置。
19. 少なくとも１つの候補補間符号化モードが、前記再構築された２Ｄ点の奥行き値から最大奥行き値の範囲の奥行き値が関連付けられている、少なくとも１つの補間２Ｄ点を生成することにより定義される、請求項１８に記載の装置。
20. 前記第１の２Ｄ点周辺の前記近傍が画像領域であり、前記少なくとも１つの他の２Ｄ点が前記画像領域に属する、請求項１４の１項に記載の装置。
21. 前記補間符号化モードがメタデータとして符号化される、請求項１３の１項に記載の装置。
22. 装置であって、
    −ビットストリームを復号することにより取得された再構築された２Ｄ点近傍の少なくとも１つの２Ｄ点が、少なくとも１つの補間２Ｄ点によりどのように近似されるかを示す前記ビットストリームから補間符号化モードを取得して、
    −前記再構築された２Ｄ点に対して少なくとも１つの補間２Ｄ点を生成し、前記補間符号化モードに従い、前記少なくとも１つの補間２Ｄ点の各々に奥行き値を関連付けるべく、
    構成された少なくとも１つのプロセッサを含む装置。
23. 前記少なくとも１つの補間２Ｄ点に関連付けられた前記奥行き値が、前記再構築された２Ｄ点の奥行き値から最大奥行き値までの範囲にある、請求項２２に記載の装置。
24. 前記補間符号化モードが、ビットストリームから抽出されたメタデータから取得される、請求項２２又は２３に記載の装置。
25. コンピュータプログラム製品であって、
    プログラムが、１つ以上のプロセッサにより実行された場合、前記１つ以上のプロセッサに、
    −１つの点群の１つの３Ｄ点を投影面上に投影することにより第１の２Ｄ点を取得すること、
    −前記第１の２Ｄ点に従い少なくとも１つの他の２Ｄ点を取得すること、
    −前記少なくとも１つの他の２Ｄ点を近似すべく、前記第１の２Ｄ点の補間符号化モードを、前記第１の２Ｄ点から、及び前記補間符号化モードにより定義された少なくとも１つの２Ｄ補間点から取得された１つの再構築された２Ｄ点に基づいて決定及び符号化すること、
    を含む方法を実行させる、命令を含むコンピュータプログラム製品。
26. コンピュータプログラム製品であって、
    プログラムが、１つ以上のプロセッサにより実行された場合に、前記１つ以上のプロセッサに、
    −ビットストリームを復号することにより取得された再構築された２Ｄ点近傍の少なくとも１つの２Ｄ点が、少なくとも１つの補間２Ｄ点によりどのように近似されるかを示す前記ビットストリームから補間符号化モードを取得すること、及び
    −前記再構築された２Ｄ点に対して少なくとも１つの補間２Ｄ点を生成し、前記補間符号化モードに従い、前記少なくとも１つの補間２Ｄ点の各々に奥行き値を関連付けること、
    を含む方法を実行させる、命令を含むコンピュータプログラム製品。
27. 非一時的コンピュータ可読媒体であって、
    １つ以上のプロセッサに、
    −１つの点群の１つの３Ｄ点を投影面上に投影することにより第１の２Ｄ点を取得すること、
    −前記第１の２Ｄ点に従い少なくとも１つの他の２Ｄ点を取得すること、
    −前記少なくとも１つの他の２Ｄ点を近似すべく、前記第１の２Ｄ点の補間符号化モードを、前記第１の２Ｄ点から、及び前記補間符号化モードにより定義された少なくとも１つの２Ｄ補間点から取得された１つの再構築された２Ｄ点に基づいて決定及び符号化すること、
    を実行させる命令を含む非一時的コンピュータ可読媒体。
28. 非一時的コンピュータ可読媒体であって、
    １つ以上のプロセッサに
    −ビットストリームを復号することにより取得された再構築された２Ｄ点近傍の少なくとも１つの２Ｄ点が、少なくとも１つの補間２Ｄ点によりどのように近似されるかを示す前記ビットストリームから補間符号化モードを取得すること、及び
    −前記再構築された２Ｄ点に対して少なくとも１つの補間２Ｄ点を生成し、前記補間符号化モードに従い、前記少なくとも１つの補間２Ｄ点の各々に奥行き値を関連付けること、
    を実行させる命令を含む非一時的コンピュータ可読媒体。
29. 前記少なくとも補間符号化モードが画像データの値としてシグナリングされる、請求項１又は１０に記載の方法。
30. 前記少なくとも補間符号化モードが画像データの値としてシグナリングされる、請求項１３〜２２のいずれか１項に記載の装置。

Images