JP2022516232A - フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム - Google Patents

フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム Download PDF

Info

Publication number
JP2022516232A
JP2022516232A JP2021534358A JP2021534358A JP2022516232A JP 2022516232 A JP2022516232 A JP 2022516232A JP 2021534358 A JP2021534358 A JP 2021534358A JP 2021534358 A JP2021534358 A JP 2021534358A JP 2022516232 A JP2022516232 A JP 2022516232A
Authority
JP
Japan
Prior art keywords
point cloud
nearest
point
motion estimation
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021534358A
Other languages
English (en)
Other versions
JP7384520B2 (ja
Inventor
セフン・ヤ
アーラシュ・ヴォソウギ
シャン・リュウ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2022516232A publication Critical patent/JP2022516232A/ja
Application granted granted Critical
Publication of JP7384520B2 publication Critical patent/JP7384520B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

点群属性コーディングの方法は、点群に関連付けられた幾何形状データに基づいて動き推定不確実性値を計算するステップと、動き推定不確実性値がしきい値未満であるという判定に応答して、点群に対応する1つまたは複数のフレーム間最近傍点群サンプルを識別するステップと、動き推定不確実性値に基づいて、1つまたは複数の識別されたフレーム間最近傍点群サンプルに関連付けられた1つまたは複数の時間候補点をランク付けするステップと、1つまたは複数の時間候補点から1つまたは複数のサンプル属性値を抽出するステップであって、それにより、1つまたは複数のサンプル属性値が幾何形状データに対応する、ステップとを含む。

Description

関連出願の相互参照
本出願は、参照によりそれらの全体が本明細書に組み込まれる、2019年3月20日に米国特許商標庁に出願された米国仮特許出願第62／821，068号、および2020年3月19日に米国特許商標庁出願された米国特許出願第16／823，994号の優先権を主張する。
実施形態と一致する方法および装置は、グラフベースの点群圧縮（G－PCC）に関し、より詳細には、フレーム間点群属性コーディングのための方法および装置に関する。
世界の高度な三次元（3D）表現は、より没入型の形式の対話および通信を可能にしており、また機械が我々の世界を理解し、解釈し、ナビゲートすることを可能にする。そのような情報の表現を可能にするものとして、3D点群が登場した。点群データに関連付けられたいくつかのユースケースが識別されており、点群の表現および圧縮のための対応する必需品が開発されている。
点群は、3D空間内の一組の点であり、各点は、関連する属性、たとえば、色、材料特性などを有する。点群は、オブジェクトまたはシーンをそのような点の組成物として復元するために使用することができる。それらは、様々な設定において複数のカメラおよび深度センサを使用して取り込むことができ、復元されたシーンを現実的に表すために数千から最大数十億の点で構成される場合がある。
圧縮技術は、データ量を削減して点群を表すために必要とされる。そのため、リアルタイム通信および6自由度（6DoF）仮想現実において使用するための点群の非可逆圧縮のための技術が必要とされる。加えて、自動運転および文化遺産の用途などのための動的マッピングとの関連で可逆点群圧縮のための技術が求められる。Moving Picture Experts Group（MPEG）は、色および反射率などの幾何形状および属性の圧縮、スケーラブル／プログレッシブコーディング、経時的に取り込まれた点群のシーケンスのコーディング、ならびに点群のサブセットへのランダムアクセスに対処するための規格の作業を開始している。
図1Aは、G－PCCにおける詳細度レベル（LoD）を生成する方法を示す図である。
図1Aを参照すると、現在のG－PCC属性コーディングでは、各3D点（たとえば、P0～P9）のLoD（すなわち、グループ）が各3D点の距離に基づいて生成され、次いで、各LoD内の3D点の属性値は、3D点の元の順序105の代わりにLoDベースの順序110で予測を適用することによって符号化される。たとえば、3D点P2の前に符号化または復号された3D点P0、P5、およびP4の距離ベースの加重平均値を計算することにより、3D点P2の属性値が予測される。
G－PCCにおける現在のアンカー法は以下のように進行する。
最初に、隣接する値がどのように異なるかをチェックするために3D点の近傍のばらつきが計算され、ばらつきがしきい値より低い場合、距離ベースの加重平均予測の計算は、現在の点iの最近傍の距離に基づく線形補間プロセスを使用して、属性値（ai）i∈0…k－1を予測することによって行われる。
Figure 2022516232000002
 を現在点iのk最近傍集合とし、
Figure 2022516232000003
 をそれらの復号／復元された属性値とし、
Figure 2022516232000004
 を現在点iまでのそれらの距離とする。次いで、予測属性値
Figure 2022516232000005
 が以下によって与えられる。
Figure 2022516232000006
すべての点群の幾何学的位置は、属性がコーディングされるときにすでに利用可能であることに留意されたい。加えて、隣接する点はそれらの復元された属性値と一緒に、同一の方式で点ごとの最近傍探索を容易にするために使用されるk次元ツリー構造として、エンコーダおよびデコーダの両方で利用可能である。
第2に、ばらつきがしきい値より高い場合、レート歪み最適化（RDO）予測子選択が実行される。LoDを生成する際の近傍点探索の結果に基づいて、複数の予測子候補または候補予測値が作成される。たとえば、3D点P2の属性値が予測を使用して符号化されるとき、3D点P2からそれぞれ3D点P0、P5、およびP4までの距離の加重平均値が、0に等しい予測子インデックスに設定される。次いで、3D点P2から最近傍点P4までの距離が、1に等しい予測子インデックスに設定される。さらに、以下の表1に示されたように、3D点P2からそれぞれ次の最近傍点P5およびP0までの距離が、2および3に等しい予測子インデックスに設定される。
Figure 2022516232000007
予測子候補を作成した後、レート歪み最適化手順を適用することによって最良の予測子が選択され、次いで、選択された予測子インデックスが切頭単項（TU）コードにマッピングされ、そのビンが算術的に符号化される。表1では、より短いTUコードが、より小さい予測子インデックスに割り当てられることに留意されたい。
予測子候補の最大数MaxNumCandが定義され、属性ヘッダの中に符号化される。現在の実装形態では、予測子候補の最大数MaxNumCandは、numberOfNearestNeighborsInPrediction＋1に等しく設定され、切頭単項2値化を用いて予測子インデックスを符号化および復号する際に使用される。
G－PCCにおける属性コーディングのためのリフティング変換は、上述された予測変換の上に構築される。予測方式とリフティング方式との間の主な違いは、更新演算子の導入である。
図1Bは、G－PCCにおけるP／U（予測／更新）リフティングのためのアーキテクチャの図である。リフティングにおける予測および更新のステップを容易にするために、分解の各段階で信号を2組の高い相関関係に分割しなければならない。G－PCCにおけるリフティング方式では、そのような高い相関関係がレベル間で期待されるLoD構造を活用することによって分割が実行され、各レベルは、最近傍探索によって構築されて、不均一な点群を構造化データに組織化する。レベルNのP／U分解ステップは、詳細信号D（N－1）および近似信号A（N－1）をもたらし、それらはD（N－2）およびA（N－2）にさらに分解される。このステップは、ベースレイヤ近似信号A（1）が取得されるまで繰り返し適用される。
その結果、LOD（N）、…、LOD（1）からなる入力属性信号自体をコーディングする代わりに、リフティング方式ではD（N－1）、D（N－2）、…、D（1）、A（1）をコーディングすることになる。効率的なP／Uステップの適用は、しばしば、D（N－1）、…、D（1）における疎なサブバンド「係数」につながり、それにより、変換コーディング利得の利点が提供されることに留意されたい。
現在、G－PCCにおけるアンカー法としてのリフティング内の予測ステップに、予測変換のための上述された距離ベースの加重平均予測が使用される。
G－PCCにおける属性コーディングのための予測およびリフティングでは、より多くの近傍属性サンプルがより良好な予測を提供することができるので、圧縮効率にとって近傍属性サンプルの可用性が重要である。予測するのに十分な近傍が存在しない場合、圧縮効率が損なわれる可能性がある。
実施形態によれば、フレーム間点群属性コーディングの方法は、少なくとも1つのプロセッサによって実行され、点群に関連付けられた幾何形状データに基づいて動き推定不確実性値を計算するステップと、動き推定不確実性値がしきい値未満であるという判定に応答して、点群に対応する1つまたは複数のフレーム間最近傍点群サンプルを識別するステップとを含む。方法は、動き推定不確実性値に基づいて、1つまたは複数の識別されたフレーム間最近傍点群サンプルに関連付けられた1つまたは複数の時間候補点をランク付けするステップと、1つまたは複数の時間候補点から1つまたは複数のサンプル属性値を抽出するステップであって、それにより、1つまたは複数のサンプル属性値が幾何形状データに対応する、ステップとをさらに含む。
実施形態によれば、フレーム間点群属性コーディングのための装置は、コンピュータ・プログラム・コードを記憶するように構成された少なくとも1つのメモリと、少なくとも1つのメモリにアクセスし、コンピュータ・プログラム・コードに従って動作するように構成された少なくとも1つのプロセッサとを含む。コンピュータ・プログラム・コードは、点群に関連付けられた幾何形状データに基づいて動き推定不確実性値を少なくとも1つのプロセッサに計算させるように構成された計算コードと、動き推定不確実性値がしきい値未満であるという判定に応答して、点群に対応する1つまたは複数のフレーム間最近傍点群サンプルを少なくとも1つのプロセッサに識別させるように構成された識別コードとを含む。コンピュータ・プログラム・コードは、動き推定不確実性値に基づいて、1つまたは複数の識別されたフレーム間最近傍点群サンプルに関連付けられた1つまたは複数の時間候補点を少なくとも1つのプロセッサにランク付けさせるように構成されたランク付けコードと、1つまたは複数の時間候補点から1つまたは複数のサンプル属性値を少なくとも1つのプロセッサに抽出させ、それにより、1つまたは複数のサンプル属性値が幾何形状データに対応するように構成された抽出コードとをさらに含む。
実施形態によれば、非一時的コンピュータ可読記憶媒体は、少なくとも1つのプロセッサに、点群に関連付けられた幾何形状データに基づいて動き推定不確実性値を計算させ、動き推定不確実性値がしきい値未満であるという判定に応答して、点群に対応する1つまたは複数のフレーム間最近傍点群を識別させる命令を記憶する。命令はさらに、プロセッサに、動き推定不確実性値に基づいて、1つまたは複数の識別されたフレーム間最近傍点群に関連付けられた1つまたは複数の時間候補点をランク付けさせ、1つまたは複数の時間候補点から1つまたは複数のサンプル属性値を抽出させ、それにより、1つまたは複数のサンプル属性値は幾何形状データに対応する。
G－PCCにおいてLoDを生成する方法を示す図である。 G－PCCにおけるP／Uリフティングのためのアーキテクチャの図である。 実施形態による通信システムのブロック図である。 実施形態による、環境内のG－PCC圧縮器およびG－PCC解凍器の配置図である。 実施形態によるG－PCC圧縮器の機能ブロック図である。 実施形態によるG－PCC解凍器の機能ブロック図である。 実施形態による、フレーム間点群属性コーディングの方法を示すフローチャートである。 実施形態による、フレーム間点群属性コーディングのための装置のブロック図である。 実施形態を実装するのに適したコンピュータシステムの図である。
本明細書に記載された実施形態は、フレーム間点群属性コーディングのための方法および装置を提供する。詳細には、G－PCCにおける予測のために、同じ点群フレーム内からの属性値に加えて、異なる時間インスタンスにおける他の点群フレームからの属性値が使用される。方法および装置は、G－PCCにおける差分パルスコード変調（DPCM）（別名、予測変換）またはリフティングのための予測ステップ（別名、リフティング変換）における予測を改善するために使用することができる。時空間予測の方法および装置は、同様の構造を有する任意のコーデックに対しても機能することができる。方法および装置は、他のフレーム内の対応する位置からサンプル属性値を提供することにより、特に点群サンプルが現在のフレーム内で疎であるときに予測性能を改善することができる。
図2は、実施形態による通信システム200のブロック図である。通信システム200は、ネットワーク250を介して相互接続された少なくとも2つの端末210および220を含んでよい。データの単方向送信のために、第1の端末210は、ネットワーク250を介して第2の端末220に送信するためにローカル位置で点群データをコーディングすることができる。第2の端末220は、ネットワーク250から第1の端末210のコーディングされた点群データを受信し、コーディングされた点群データを復号し、復号された点群データを表示することができる。単方向データ送信は、メディア・サービング・アプリケーションなどで一般的であり得る。
図2は、たとえば、ビデオ会議中に発生する可能性があるコーディングされた点群データの双方向送信をサポートするために提供される端末230および240の第2のペアをさらに示す。データの双方向送信のために、各端末230または240は、ネットワーク250を介して他の端末に送信するためにローカル位置で取り込まれた点群データをコーディングすることができる。各端末230または240はまた、他方の端末によって送信されたコーディングされた点群データを受信することができ、コーディングされた点群データを復号することができ、復号された点群データをローカルディスプレイデバイスに表示することができる。
図2では、端末210～240は、サーバ、パーソナルコンピュータ、およびスマートフォンとして示される場合があるが、実施形態の原理はそのように限定されない。実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用のビデオ会議機器を用いるアプリケーションを見出す。ネットワーク250は、たとえば、有線および／またはワイヤレスの通信ネットワークを含む、端末210～240の間でコーディングされた点群データを伝達する任意の数のネットワークを表す。通信ネットワーク250は、回線交換チャネルおよび／またはパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークには、電気通信ネットワーク、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、および／またはインターネットが含まれる。本明細書において下記で説明されない限り、本説明の目的で、ネットワーク250のアーキテクチャおよびトポロジーは、実施形態の動作にとって重要でない場合がある。
図3は、実施形態による、環境内のG－PCC圧縮器303およびG－PCC解凍器310の配置図である。開示された主題は、たとえば、ビデオ会議、デジタルテレビ、CD、DVD、メモリスティックなどを含むデジタル媒体への圧縮された点群データの保存などを含む、他の点群対応アプリケーションに等しく適用可能であり得る。
ストリーミングシステム300は、たとえば、圧縮されていない点群データ302を作成する点群ソース301、たとえば、デジタルカメラを含むことができる、キャプチャサブシステム313を含んでよい。より高いデータ量を有する点群データ302は、点群ソース301に結合されたG－PCC圧縮器303によって処理することができる。G－PCC圧縮器303は、下記でより詳細に記載されるように、開示された主題の態様を可能にするかまたは実装するために、ハードウェア、ソフトウェア、またはそれらの組合せを含むことができる。より低いデータ量を有する符号化された点群データ304は、将来の使用のためにストリーミングサーバ305に保存することができる。1つまたは複数のストリーミングクライアント306および308は、ストリーミングサーバ305にアクセスして、符号化された点群データ304のコピー307および309を取り出すことができる。クライアント306はG－PCC解凍器310を含むことができ、それは、符号化された点群データの入力コピー307を復号し、ディスプレイ312または他のレンダリングデバイス（描写せず）上にレンダリングすることができる出力点群データ311を作成する。いくつかのストリーミングシステムでは、符号化された点群データ304、307、および309は、ビデオコーディング／圧縮規格に従って符号化することができる。それらの規格の例には、G－PCC用にMPEGによって開発中の規格が含まれる。
図4は、実施形態によるG－PCC圧縮器303の機能ブロック図である。
図4に示されたように、G－PCC圧縮器303は、量子化器405と、点除去モジュール410と、八分木エンコーダ415と、属性転送モジュール420と、LoD生成器425と、予測モジュール430と、量子化器435と、算術コーダ440とを含む。
量子化器405は、入力点群における点の位置を受け取る。位置は、（x，y，z）座標であってよい。量子化器405はさらに、たとえば、スケーリングアルゴリズムおよび／またはシフトアルゴリズムを使用して、受け取った位置を量子化する。
点除去モジュール410は、量子化器405から量子化された位置を受け取り、受け取った量子化された位置から重複する位置を除去またはフィルタリングする。
八分木エンコーダ415は、点除去モジュール410からフィルタリングされた位置を受け取り、八分木符号化アルゴリズムを使用して、受け取ったフィルタリングされた位置を、入力点群を表す八分木の占有シンボルに符号化する。八分木に対応する入力点群の境界ボックスは、任意の3D形状、たとえば立方体であってよい。
八分木エンコーダ415はさらに、フィルタリングされた位置の符号化に基づいて、受け取ったフィルタリングされた位置を並べ替える。
属性転送モジュール420は、入力点群内の点の属性を受け取る。属性は、たとえば、各点の色もしくはRGB値および／または反射率を含んでよい。属性転送モジュール420はさらに、八分木エンコーダ415から並べ替えられた位置を受け取る。
属性転送モジュール420はさらに、受け取った並べ替えられた位置に基づいて、受け取った属性を更新する。たとえば、属性転送モジュール420は、受け取った属性に対して前処理アルゴリズムのうちの1つまたは複数を実行することができ、前処理アルゴリズムは、たとえば、受け取った属性の重み付けおよび平均化、ならびに受け取った属性からの追加の属性の補間を含む。属性転送モジュール420はさらに、更新された属性を予測モジュール430に転送する。
LoD生成器425は、八分木エンコーダ415から並べ替えられた位置を受け取り、受け取った並べ替えられた位置に対応する各点のLoDを取得する。各LoDは、点のグループであると見なすことができ、各点の距離に基づいて取得されてよい。たとえば、図1Aに示されたように、点P0、P5、P4、およびP2は、LoD LOD0内にあってよく、点P0、P5、P4、P2、P1、P6、およびP3は、LoD LOD1内にあってよく、点P0、P5、P4、P2、P1、P6、P3、P9、P8、およびP7は、LoD LOD2内にあってよい。
予測モジュール430は、属性転送モジュール420から転送された属性を受け取り、LoD生成器425から各点の取得されたLoDを受け取る。予測モジュール430は、各点の受け取ったLoDに基づく順序で受け取った属性に対して予測アルゴリズムを適用することにより、受け取った属性のそれぞれの予測残差（値）を取得する。予測アルゴリズムは、たとえば、補間、加重平均計算、最近傍アルゴリズム、およびRDOなどの様々な予測アルゴリズムの中のいずれかを含んでよい。
たとえば、図1Aに示されたように、LoD LOD0に含まれる点P0、P5、P4、およびP2の受け取った属性のそれぞれの予測残差は、LoD LOD1およびLOD2にそれぞれ含まれる点P1、P6、P3、P9、P8、およびP7の受け取った属性の予測残差より前に最初に取得されてよい。点P2の受け取った属性の予測残差は、点P0、P5、およびP4の加重平均に基づいて距離を計算することによって取得されてよい。
量子化器435は、予測モジュール430から取得された予測残差を受け取り、たとえば、スケーリングアルゴリズムおよび／またはシフトアルゴリズムを使用して、受け取った予測残差を量子化する。
算術コーダ440は、八分木エンコーダ415から占有シンボルを受け取り、量子化器435から量子化された予測残差を受け取る。算術コーダ440は、受け取った占有シンボルおよび量子化された予測残差に対して算術コーディングを実行して、圧縮されたビットストリームを取得する。算術コーディングは、たとえば、コンテキスト適応バイナリ算術コーディングなどの様々なエントロピー符号化アルゴリズムの中のいずれかを含んでよい。
図5は、実施形態によるG－PCC解凍器310の機能ブロック図である。
図5に示されたように、G－PCC解凍器310は、算術デコーダ505と、八分木デコーダ510と、逆量子化器515と、LoD生成器520と、逆量子化器525と、逆予測モジュール530とを含む。
算術デコーダ505は、G－PCC圧縮器303から圧縮されたビットストリームを受け取り、受け取った圧縮されたビットストリームに対して算術復号を実行して、占有シンボルおよび量子化された予測残差を取得する。算術復号は、たとえば、コンテキスト適応バイナリ算術復号などの様々なエントロピー復号アルゴリズムの中のいずれかを含んでよい。
八分木デコーダ510は、算術デコーダ505から取得された占有シンボルを受け取り、八分木復号アルゴリズムを使用して、受け取った占有シンボルを量子化された位置に復号する。
逆量子化器515は、八分木デコーダ510から量子化された位置を受け取り、たとえば、スケーリングアルゴリズムおよび／またはシフトアルゴリズムを使用して、受け取った量子化された位置を逆量子化して、入力点群内の点の復元された位置を取得する。
LoD生成器520は、八分木デコーダ510から量子化された位置を受け取り、受け取った量子化された位置に対応する各点のLoDを取得する。
逆量子化器525は、取得された量子化された予測残差を受け取り、たとえば、スケーリングアルゴリズムおよび／またはシフトアルゴリズムを使用して、受け取った量子化された予測残差を逆量子化して、復元された予測残差を取得する。
逆予測モジュール530は、逆量子化器525から取得された復元された予測残差を受け取り、LoD生成器520から各点の取得されたLoDを受け取る。逆予測モジュール530は、各点の受け取ったLoDに基づく順序で受け取った復元された予測残差に対して予測アルゴリズムを適用することにより、受け取った復元された予測残差のそれぞれ復元された属性を取得する。予測アルゴリズムは、たとえば、補間、加重平均計算、最近傍アルゴリズム、およびRDOなどの様々な予測アルゴリズムの中のいずれかを含んでよい。復元された属性は入力点群内の点の属性である。
次に、フレーム間点群属性コーディングのための方法および装置が詳細に記載される。そのような方法および装置は、上述されたG－PCC圧縮器303、すなわち、予測モジュール430に実装されてよい。方法および装置はまた、G－PCC解凍器310、すなわち、逆予測モジュール530に実装されてよい。
動き推定および動き補償
実施形態では、幾何形状ベースまたは結合幾何形状／属性ベースのグローバル／ローカル動き推定が実行されてよい。
詳細には、点群圧縮の関連で、点群の位置などの幾何形状情報は、属性コーディングが実行されるときに利用可能である。この情報は、動き推定を実行して、現在フレームおよび基準フレームに存在する任意のローカルまたはグローバルな動きを補償するために活用または結合することができる。
疎な点群データに対して動き推定を実行することは困難であるか、または信頼できない可能性があるので、動き推定の結果として動き推定非信頼性尺度me＿uncertiantyが取得されてよい。動き推定非信頼性尺度は、一例として、同様の動きマッチングスコアを有するいくつかの候補対象サンプル、またはそのようなスコアのしきい値テストに基づくことができる。各動きマッチングスコアは、ブロックマッチングなどのプロセスを介して取得されてよい。
（所定のしきい値より大きいときの）動き推定非信頼性尺度me＿uncertiantyは、フレーム間予測の使用を無効／有効にすることができるか、または予測におけるスケーリングもしくは重み付けの係数を決定するときに使用することができる。
修正された最近傍探索
実施形態では、G－PCCにおけるように最近傍点群を使用する予測は、他のフレームからの近傍サンプルを追加の候補として考慮することができる。
G－PCC設計は、以下のように点群のLoD層を生成する。最初に、元の点群および基準点群がモートンコードを使用してソートされる。
次に、元の点群が、サンプル距離に従って連続的に、LoD層の上部から下部LoDレベルまでサンプリングされる。次いで、LoDに属する点ごとに最近傍探索が実行される。次いで、点群ごとに近傍リストが構築され、その中では幾何学的により近いサンプルがリストの早い部分に入る。
実施形態では、以下の準備により、フレーム間クラウドによる最近傍リスト構築がさらに容易になる。フラグinterframeが定義され、最近傍サンプルがイントラであるかインターであるかを示す。変数framenumが定義され、現在の点群フレームからのピクチャ順序カウント（POC）におけるフレーム番号またはオフセットを示す。フレーム間最近傍サンプルの最大数MaxInterNNが定義される。
さらに、新しい点群サンプル候補がすでにリストにあるものと比較されるときはいつでも、距離の概念が定義される。このイントラ／インター混合予測コンテキストでは、フレーム間の属性値の起こり得る変化度を反映するために、時間－空間スケール（TSScale）およびTSOffsetと呼ばれる変数が導入される。これらの値が大きい場合、時間距離、可能な高速の動き、シーンの変化などに起因して、属性値が変化する可能性が高い。そのような場合、3D座標が類似することは、属性値の近さとの関連性が低い。
最近傍探索および予測の後の段階でのその使用の実施形態では、TSScaleは、時間距離対空間距離の相対的な近接度をスケールアップ／ダウンするために使用することができ、一方、TSOffsetは、混合されたフレーム内およびフレーム間のクラウドサンプルの中から選択するためにフレームを仮想的に「マージ」するときに、基準フレーム内の点の3D座標にオフセットを加えるために使用することができる。この「マージ」は、フレーム間サンプルを現在フレームに属しているかのように扱い、その場合、同一の3D位置に複数の候補予測サンプルが存在する可能性がある。
実施形態では、最近傍サンプル候補の順序を入れ替えるためにオプションが追加される。エンコーダ（G－PCC圧縮器303）は、動き推定に対する信頼性（すなわち、me＿uncertianty）に基づいて、候補リストが構造化される方法、または時間次元距離がフレーム間候補点群サンプルの加重平均もしくは重み計算に反映されることを通知することができる。
属性向けのG－PCC予測変換への適用
1．RDOインデックスコーディング
上記の実施形態は、上述されたRDOベースの予測子選択に適用することができる。詳細には、特定の条件に従って、時間候補（interframe＝1）により高い優先度を割り当てる準備が提供される。実施形態では、動き推定非信頼性尺度me＿uncertaintyが低いとき、最近傍リスト内の早い時間候補に高い優先度が割り当てられ、その逆も同様である。これは、動き推定非信頼性尺度me＿uncertaintyが所定のしきい値を上回るときに、最近傍リストから時間候補を除外することを含む。複数のフレーム間が存在する場合、（framenumによって示された）時間距離がより近い候補点群サンプルがリスト内でより早く配置される。
RDOエンコーダ（G－PCC圧縮器303）は、フレーム間の選択を追跡し続け、適応的なインデックス順序の切替えを行うことができる。さらに、上記の条件に応じて、フレーム間候補の数MaxInterNNが適応的に変更されてよい。
2．距離ベースの平均予測
上記の実施形態は、上述された距離加重平均予測に適用することができる。詳細には、動き推定非信頼性尺度me＿uncertaintyが高いとき、フレーム間候補は加重平均に含まれない。
実施形態では、現在の点群の属性値の距離加重平均予測
Figure 2022516232000008
 は、以下のように、インターおよびイントラ最近傍サンプル値an’s（n＝1、…、N）を使用して定義される。
Figure 2022516232000009
ここで、第nのサンプルの重みは、以下のように決定することができる。
Figure 2022516232000010
ここで、pは、属性aを有する現在の点群サンプルの位置であり、pnは、対応する属性値anを有する第nの近傍サンプルの位置である。パラメータTSScaleおよびTSOffsetは、フレーム間最近傍に対して上記の説明に従って割り当てられる。イントラ最近傍の場合、TSScaleは1に設定され、TSOffsetは0に設定される。
図6は、実施形態による、フレーム間点群属性コーディングの方法600を示すフローチャートである。いくつかの実装形態では、図6の1つまたは複数のプロセスブロックは、G－PCC解凍器310によって実行されてよい。いくつかの実装形態では、図6の1つまたは複数のプロセスブロックは、G－PCC圧縮器303などの、G－PCC解凍器310とは別個の別のデバイス、またはG－PCC解凍器310を含むデバイスのグループによって実行されてよい。
図6を参照すると、第1のブロック610において、方法600は、点群に関連付けられた幾何形状データに基づいて動き推定不確実性値を計算するステップを含む。
第2のブロック620において、方法600は、動き推定不確実性値がしきい値未満であるという判定に応答して、点群に対応する1つまたは複数のフレーム間最近傍点群サンプルを識別するステップを含む。
第3のブロック630において、方法600は、動き推定不確実性値に基づいて、1つまたは複数の識別されたフレーム間最近傍点群サンプルに関連付けられた1つまたは複数の時間候補点をランク付けするステップを含む。
第4のブロック640において、方法600は、1つまたは複数の時間候補点から1つまたは複数のサンプル属性値を抽出するステップを含み、1つまたは複数のサンプル属性値は幾何形状データに対応する。
方法は、動き推定不確実性値がしきい値を超えるという判定に基づいて、1つまたは複数のフレーム間最近傍点群サンプルの識別を無効にするステップをさらに含んでよい。
1つまたは複数のフレーム間最近傍点群サンプルを識別するステップは、1つまたは複数の候補最近傍点群サンプルがフレーム間サンプルであると決定するステップと、点群と候補最近傍点群サンプルとの間のオフセットに対応する最大許容フレーム数を決定するステップと、点群と候補最近傍点群サンプルとの間の変化度を計算するステップと、最も低いオフセットおよび最も低い変化度を有する候補フレーム間最近傍点群サンプルのうちの1つまたは複数を選択するステップとをさらに含んでよい。
1つまたは複数のフレーム間最近傍点群サンプルを識別するステップは、動き推定不確実性値に基づいて選択された最近傍点群サンプルを並べ替えるステップをさらに含んでよい。
方法は、点群からの時間距離が最も短い時間候補点が最も高くランク付けされることをさらに含んでよい。
方法は、動き推定不確実性値がしきい値より高いという判定に基づいて、フレーム間点群サンプルが加重平均から除外されることをさらに含んでよい。
方法は、第1の点群、1つまたは複数のフレーム間最近傍点群サンプル、および1つまたは複数のフレーム内最近傍サンプル値に関連付けられた属性値の距離加重平均を計算するステップをさらに含んでよい。
図6は方法600の例示的なブロックを示すが、いくつかの実装形態では、方法600は、図6に描写されたものよりもさらなるブロック、より少ないブロック、異なるブロック、または異なる配置のブロックを含んでよい。追加または代替として、方法600のブロックのうちの2つ以上は、並行して実行されてよい。
さらに、提案された方法は、処理回路（たとえば、1つもしくは複数のプロセッサまたは1つもしくは複数の集積回路）によって実施されてよい。一例では、1つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行して、提案された方法のうちの1つまたは複数を実行する。
図7は、実施形態による、フレーム間点群属性コーディングのための装置700のブロック図である。
図7を参照すると、装置700は、計算コード710と、識別コード720と、ランク付けコード730と、抽出コード740とを含む。
計算コード710は、点群に関連付けられた幾何形状データに基づいて動き推定不確実性値を少なくとも1つのプロセッサに計算させるように構成される。
識別コード720は、動き推定不確実性値がしきい値未満であるという判定に応答して、点群に対応する1つまたは複数のフレーム間最近傍点群サンプルを少なくとも1つのプロセッサに識別させるように構成される。
ランク付けコード730は、動き推定不確実性値に基づいて、1つまたは複数の識別されたフレーム間最近傍点群サンプルに関連付けられた1つまたは複数の時間候補点を少なくとも1つのプロセッサにランク付けさせるように構成される。
抽出コード740は、1つまたは複数の時間候補点から1つまたは複数のサンプル属性値を少なくとも1つのプロセッサに抽出させるように構成され、1つまたは複数のサンプル属性値は幾何形状データに対応する。
計算コード710は、第1の点群、1つまたは複数のフレーム間最近傍点群サンプル、および1つまたは複数のフレーム内最近傍サンプル値に関連付けられた属性値の距離加重平均を少なくとも1つのプロセッサに計算させるようにさらに構成されてよい。
計算コード710は、動き推定不確実性値がしきい値より高いという判定に基づいて、加重平均からフレーム間点群サンプルを少なくとも1つのプロセッサに除外させるようにさらに構成されてよい。
識別コード720は、少なくとも1つのプロセッサに、1つまたは複数の候補最近傍点群サンプルがフレーム間サンプルであると決定させ、点群と候補最近傍点群サンプルとの間のオフセットに対応する最大許容フレーム数を決定させ、点群と候補最近傍点群サンプルとの間の変化度を計算させ、最も低いオフセットおよび最も低い変化度を有する候補フレーム間最近傍点群サンプルのうちの1つまたは複数を選択させるようにさらに構成されてよい。
識別コード720は、動き推定不確実性値に基づいて、選択された最近傍点群サンプルを少なくとも1つのプロセッサに並べ替えさせるようにさらに構成されてよい。
識別コード720は、動き推定不確実性値がしきい値を超えるという判定に基づいて、1つまたは複数のフレーム間最近傍点群サンプルの識別を少なくとも1つのプロセッサに無効にさせるようにさらに構成されてよい。
ランク付けコード730は、点群からの時間距離が最も短い時間候補点に最高ランクを割り当てることを少なくとも1つのプロセッサに行わせるようにさらに構成されてよい。
図8は、実施形態を実装するのに適したコンピュータシステム800の図である。
コンピュータソフトウェアは、コンピュータ中央処理装置（CPU）、グラフィックス処理装置（GPU）などによる、直接、または解釈、マイクロコード実行などを介して実行することができる命令を含むコードを作成するために、アセンブル、コンパイル、リンク、または同様のメカニズムを受けることができる、任意の適切な機械語またはコンピュータ言語を使用してコーディングすることができる。
命令は、たとえば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはその構成要素上で実行することができる。
コンピュータシステム800について図8に示された構成要素は本質的に例であり、実施形態を実装するコンピュータソフトウェアの使用範囲または機能に関するいかなる制限も示唆するものではない。構成要素の構成は、コンピュータシステム800の実施形態に示された構成要素のいずれか1つまたは組合せに関するいかなる依存性または要件も有すると解釈されるべきでない。
コンピュータシステム800は、特定のヒューマンインターフェース入力デバイスを含んでよい。そのようなヒューマンインターフェース入力デバイスは、たとえば、（キーストローク、スワイプ、データグローブの動きなどの）触覚入力、（音声、拍手などの）オーディオ入力、（ジェスチャなどの）視覚入力、（描写されていない）嗅覚入力を介して、1人または複数の人間のユーザによる入力に応答することができる。ヒューマン・インターフェース・デバイスは、（音声、音楽、周囲の音などの）オーディオ、（スキャン画像、静止画カメラから取得された写真画像などの）画像、（2次元ビデオ、立体ビデオを含む3次元ビデオなどの）ビデオなどの、人間による意識的な入力に必ずしも直接関連しない特定の媒体をキャプチャするために使用することもできる。
入力ヒューマン・インターフェース・デバイスには、キーボード801、マウス802、トラックパッド803、タッチスクリーン810、ジョイスティック805、マイクロフォン806、スキャナ807、およびカメラ808のうちの1つまたは複数（各々のうちの1つのみが描写されている）が含まれてよい。
コンピュータシステム800は、特定のヒューマンインターフェース出力デバイスも含んでよい。そのようなヒューマンインターフェース出力デバイスは、たとえば、触覚出力、音、光、および嗅覚／味覚を介して、1人または複数の人間のユーザの感覚を刺激している場合がある。そのようなヒューマンインターフェース出力デバイスには、触覚出力デバイス（たとえば、タッチスクリーン810またはジョイスティック805による触覚フィードバック、しかし入力デバイスとして機能しない触覚フィードバックデバイスが存在する可能性もある）、（スピーカ809、ヘッドフォン（描写せず）などの）オーディオ出力デバイス、（陰極線管（CRT）スクリーン、液晶ディスプレイ（LCD）スクリーン、プラズマスクリーン、有機発光ダイオード（OLED）スクリーンを含むスクリーン810など、各々タッチスクリーン入力機能の有無にかかわらず、各々触覚フィードバック機能の有無にかかわらず、それらのうちのいくつかは、ステレオグラフィック出力、仮想現実眼鏡（描写せず）、ホログラフィックディスプレイおよびスモークタンク（描写せず）などの手段を介して2次元視覚出力または3次元以上の出力を出力することが可能な場合がある）視覚出力デバイス、ならびにプリンタ（描写せず）が含まれてよい。グラフィックスアダプタ850は、画像を生成し、タッチスクリーン810に出力する。
コンピュータシステム800は、CD／DVDまたは同様の媒体821を有するCD／DVD ROM／RWドライブ820を含む光学媒体、サムドライブ822、リムーバブル・ハード・ドライブまたはソリッド・ステート・ドライブ823、テープおよびフロッピーディスクなどのレガシー磁気媒体（描写せず）、セキュリティドングルなどの特殊なROM／ASIC／PLDベースのデバイス（描写せず）などの、人間がアクセス可能なストレージデバイスおよびそれらに関連する媒体を含むこともできる。
当業者はまた、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解するべきである。
コンピュータシステム800は、1つまたは複数の通信ネットワーク855へのインターフェースも含むことができる。通信ネットワーク855は、たとえば、ワイヤレス、有線、光であり得る。ネットワーク855はさらに、ローカル、広域、メトロポリタン、車両および産業用、リアルタイム、遅延耐性などであり得る。ネットワーク855の例には、イーサネット、ワイヤレスLANなどのローカル・エリア・ネットワーク、モバイル通信用グローバルシステム（GSM）、第3世代（3G）、第4世代（4G）、第5世代（5G）、ロングタームエボリューション（LTE）などを含むセルラーネットワーク、ケーブルTV、衛星TV、地上波放送TVなどを含むテレビの有線またはワイヤレス広域デジタルネットワーク、CANBusを含む車両および産業用などが含まれる。ネットワーク855は、通常、（たとえば、コンピュータシステム800のユニバーサルシリアルバス（USB）ポートなどの）特定の汎用データポートまたは周辺バス849に取り付けられた外部ネットワーク・インターフェース・アダプタを必要とし、他のネットワークは、通常、以下に記載されるシステムバスへの付属品、たとえば、PCコンピュータシステムへのイーサネットインターフェースおよび／またはスマートフォン・コンピュータ・システムへのセルラー・ネットワーク・インターフェースを含むネットワークインターフェース854によってコンピュータシステム800のコアに統合される。これらのネットワーク855のいずれかを使用して、コンピュータシステム800は他のエンティティと通信することができる。そのような通信は、単方向受信のみ（たとえば、ブロードキャストTV）、単方向送信のみ（たとえば、特定のCANbusデバイスへのCANbus）、または、たとえば、ローカルもしくは広域のデジタルネットワークを使用する他のコンピュータシステムとの双方向であり得る。特定のプロトコルおよびプロトコルスタックは、上述されたそれらのネットワーク855およびネットワークインターフェース854の各々で使用することができる。
前述のヒューマン・インターフェース・デバイス、人間がアクセス可能なストレージデバイス、およびネットワークインターフェース854は、コンピュータシステム800のコア840に取り付けることができる。
コア840は、1つまたは複数の中央処理装置（CPU）841、グラフィックス処理装置（GPU）842、フィールド・プログラマブル・ゲート・エリア（FPGA）843、特定のタスク用のハードウェアアクセラレータ844などの形態の特殊なプログラマブル処理装置を含むことができる。これらのデバイスは、読取り専用メモリ（ROM）845、ランダムアクセスメモリ846、内部のユーザがアクセスできないハードドライブ、ソリッド・ステート・ドライブ（SSD）などの内部大容量ストレージ847とともに、システムバス848を介して接続されてよい。いくつかのコンピュータシステムでは、システムバス848は、追加のCPU、GPUなどによる拡張を可能にするために、1つまたは複数の物理プラグの形でアクセス可能であり得る。周辺機器は、コアのシステムバス848に直接取り付けることも、周辺バス849を介して取り付けることもできる。周辺バス用のアーキテクチャには、周辺装置相互接続（PCI）、USBなどが含まれる。
CPU841、GPU842、FPGA843、およびハードウェアアクセラレータ844は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ROM845またはRAM846に記憶することができる。移行データもRAM846に記憶することができるが、永続データは、たとえば、内部大容量ストレージ847に記憶することができる。メモリデバイスのいずれかに対する高速の記憶および検索は、CPU841、GPU842、内部大容量ストレージ847、ROM845、RAM846などと密接に関連付けることができるキャッシュメモリを使用して可能にすることができる。
コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードをそこに有することができる。媒体およびコンピュータコードは、実施形態の目的のために特別に設計および構築されたものであり得るか、またはそれらは、コンピュータソフトウェア技術のスキルを有する人々に周知かつ利用可能な種類であり得る。
一例として、限定としてではなく、アーキテクチャを有するコンピュータシステム800、具体的にはコア840は、1つまたは複数の有形のコンピュータ可読媒体内で具現化されたソフトウェアを（CPU、GPU、FPGA、アクセラレータなどを含む）プロセッサが実行する結果として、機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介されたユーザアクセス可能大容量ストレージ、ならびにコア内部大容量ストレージ847またはROM845などの非一時的な性質のコア840の特定のストレージに関連付けられた媒体であり得る。様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア840によって実行することができる。コンピュータ可読媒体は、特定のニーズに応じて、1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア840、および具体的にはその中の（CPU、GPU、FPGAなどを含む）プロセッサに、RAM846に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、またはソフトウェアと一緒に動作することができる、回路（たとえば、ハードウェアアクセラレータ844）内に配線された、またはさもなければ具現化されたロジックの結果として、機能を提供することができる。必要に応じて、ソフトウェアへの参照はロジックを包含することができ、その逆も同様である。必要に応じて、コンピュータ可読媒体への参照は、実行のためのソフトウェアを記憶する（集積回路（IC）などの）回路、実行のためのロジックを具現化する回路、または両方を包含することができる。実施形態は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。
本開示はいくつかの実施形態を記載しているが、本開示の範囲内にある変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書に明示的に図示または記載されていないが、本開示の原理を具現化し、したがって、その趣旨および範囲内にある多数のシステムおよび方法を考案できることが諒解されよう。
105 元の順序
110 LoDベースの順序
200 通信システム
210 第1の端末
220 第2の端末
230 端末
240 端末
250 通信ネットワーク
300 ストリーミングシステム
301 点群ソース
302 圧縮されていない点群データ
303 G－PCC圧縮器
304 符号化された点群データ
305 ストリーミングサーバ
306 ストリーミングクライアント
307 符号化された点群データのコピー、点群データ
308 ストリーミングクライアント
309 符号化された点群データのコピー
310 G－PCC解凍器
311 出力点群データ
312 ディスプレイ
313 キャプチャサブシステム
405 量子化器
410 点除去モジュール
415 八分木エンコーダ
420 属性転送モジュール
425 LoD生成器
430 予測モジュール
435 量子化器
440 算術コーダ
505 算術デコーダ
510 八分木デコーダ
515 逆量子化器
520 LoD生成器
525 逆量子化器
530 逆予測モジュール
600 フレーム間点群属性コーディングの方法
610 第1のブロック
620 第2のブロック
630 第3のブロック
640 第4のブロック
700 フレーム間点群属性コーディングのための装置
710 計算コード
720 識別コード
730 ランク付けコード
740 抽出コード
800 コンピュータシステム
801 キーボード
802 マウス
803 トラックパッド
805 ジョイスティック
806 マイクロフォン
807 スキャナ
808 カメラ
809 スピーカ
810 タッチスクリーン
820 CD／DVD ROM／RWドライブ
821 CD／DVDまたは同様の媒体
822 サムドライブ
823 リムーバブル・ハード・ドライブまたはソリッド・ステート・ドライブ
840 コア
841 中央処理装置（CPU）
842 グラフィックス処理装置（GPU）
843 フィールドプログラマブルゲートエリア（FPGA）
844 ハードウェアアクセラレータ
845 読取り専用メモリ（ROM）
846 ランダムアクセスメモリ（RAM）
847 内部大容量ストレージ
848 システムバス
849 周辺バス
850 グラフィックスアダプタ
854 ネットワークインターフェース
855 通信ネットワーク

Claims (20)

  1. 点群属性コーディングの方法であって、前記方法が、少なくとも1つのプロセッサによって実行され、
    点群に関連付けられた幾何形状データに基づいて動き推定不確実性値を計算するステップと、
    前記動き推定不確実性値がしきい値未満であるという判定に応答して、前記点群に対応する1つまたは複数のフレーム間最近傍点群サンプルを識別するステップと、
    前記動き推定不確実性値に基づいて、前記1つまたは複数の識別されたフレーム間最近傍点群サンプルに関連付けられた1つまたは複数の時間候補点をランク付けするステップと、
    前記1つまたは複数の時間候補点から1つまたは複数のサンプル属性値を抽出するステップであって、前記1つまたは複数のサンプル属性値が前記幾何形状データに対応する、ステップと
    を含む、方法。
  2. 前記動き推定不確実性値が前記しきい値を超えるという判定に基づいて、1つまたは複数のフレーム間最近傍点群サンプルの識別を無効にするステップ
    をさらに含む、請求項1に記載の方法。
  3. 前記1つまたは複数のフレーム間最近傍点群サンプルを識別する前記ステップが、
    1つまたは複数の候補最近傍点群サンプルがフレーム間サンプルであると決定するステップと、
    前記点群と前記候補最近傍点群サンプルとの間のオフセットに対応する最大許容フレーム数を決定するステップと、
    前記点群と前記候補最近傍点群サンプルとの間の変化度を計算するステップと、
    最も低いオフセットおよび最も低い変化度を有する前記候補フレーム間最近傍点群サンプルのうちの1つまたは複数を選択するステップと
    を含む、請求項1に記載の方法。
  4. 前記1つまたは複数のフレーム間最近傍点群サンプルを識別する前記ステップが、前記動き推定不確実性値に基づいて前記選択された最近傍点群サンプルを並べ替えるステップをさらに含む、請求項3に記載の方法。
  5. 前記点群からの時間距離が最も短い前記時間候補点が最も高くランク付けされる、請求項1に記載の方法。
  6. 前記動き推定不確実性値が前記しきい値より高いという判定に基づいて、前記フレーム間点群サンプルが前記加重平均から除外される、請求項1に記載の方法。
  7. 前記第1の点群、前記1つまたは複数のフレーム間最近傍点群サンプル、および1つまたは複数のフレーム内最近傍サンプル値に関連付けられた属性値の距離加重平均を計算するステップをさらに含む、請求項1に記載の方法。
  8. 点群属性コーディングのための装置であって、前記装置が、
    コンピュータ・プログラム・コードを記憶するように構成された少なくとも1つのメモリと、
    前記少なくとも1つのメモリにアクセスし、前記コンピュータ・プログラム・コードに従って動作するように構成された少なくとも1つのプロセッサと
    を備え、前記コンピュータ・プログラム・コードが、
    点群に関連付けられた幾何形状データに基づいて動き推定不確実性値を前記少なくとも1つのプロセッサに計算させるように構成された計算コードと、
    前記動き推定不確実性値がしきい値未満であるという判定に応答して、前記点群に対応する1つまたは複数のフレーム間最近傍点群サンプルを前記少なくとも1つのプロセッサに識別させるように構成された識別コードと、
    前記動き推定不確実性値に基づいて、前記1つまたは複数の識別されたフレーム間最近傍点群サンプルに関連付けられた1つまたは複数の時間候補点を前記少なくとも1つのプロセッサにランク付けさせるように構成されたランク付けコードと、
    前記1つまたは複数の時間候補点から1つまたは複数のサンプル属性値を前記少なくとも1つのプロセッサに抽出させ、前記1つまたは複数のサンプル属性値が前記幾何形状データに対応するように構成された抽出コードと
    を備える、装置。
  9. 前記動き推定不確実性値が前記しきい値を超えるという判定に基づいて、1つまたは複数のフレーム間最近傍点群サンプルの識別を前記少なくとも1つのプロセッサに無効にさせるように構成された無効化コード
    をさらに備える、請求項8に記載の装置。
  10. 前記識別コードが、
    1つまたは複数の候補最近傍点群サンプルがフレーム間サンプルであると前記少なくとも1つのプロセッサに決定させるように構成された第1の決定コードと、
    前記点群と前記候補最近傍点群サンプルとの間のオフセットに対応する最大許容フレーム数を前記少なくとも1つのプロセッサに決定させるように構成された第2の決定コードと、
    前記点群と前記候補最近傍点群サンプルとの間の変化度を前記少なくとも1つのプロセッサに計算させるように構成された計算コードと、
    最も低いオフセットおよび最も低い変化度を有する前記候補フレーム間最近傍点群サンプルのうちの1つまたは複数を前記少なくとも1つのプロセッサに選択させるように構成された選択コードと
    を備える、請求項8に記載の装置。
  11. 前記識別コードが、
    前記動き推定不確実性値に基づいて前記選択された最近傍点群サンプルを前記少なくとも1つのプロセッサに並べ替えさせるように構成された並べ替えコード
    をさらに備える、請求項10に記載の装置。
  12. 前記点群からの時間距離が最も短い前記時間候補点が最も高くランク付けされる、請求項8に記載の装置。
  13. 前記動き推定不確実性値が前記しきい値より高いという判定に基づいて、前記フレーム間点群サンプルが前記加重平均から除外される、請求項8に記載の装置。
  14. 前記第1の点群、前記1つまたは複数のフレーム間最近傍点群、および1つまたは複数のフレーム内最近傍サンプル値に関連付けられた属性値の距離加重平均を前記少なくとも1つのプロセッサに計算させるように構成された計算コード
    をさらに備える、請求項8に記載の装置。
  15. 少なくとも1つのプロセッサに、
    点群に関連付けられた幾何形状データに基づいて動き推定不確実性値を計算させ、
    前記動き推定不確実性値がしきい値未満であるという判定に応答して、前記点群に対応する1つまたは複数のフレーム間最近傍点群を識別させ、
    前記1つまたは複数の識別されたフレーム間最近傍点群に関連付けられた1つまたは複数の時間候補点をランク付けさせ、
    前記1つまたは複数の時間候補点から1つまたは複数のサンプル属性値を抽出させ、前記1つまたは複数のサンプル属性値が前記幾何形状データに対応する
    命令を記憶する、非一時的コンピュータ可読記憶媒体。
  16. 前記命令がさらに、前記少なくとも1つのプロセッサに、
    前記動き推定不確実性値が前記しきい値を超えるという判定に基づいて、1つまたは複数のフレーム間最近傍点群サンプルの識別を無効にさせる、
    請求項15に記載のコンピュータ可読記憶媒体。
  17. 前記1つまたは複数のフレーム間最近傍点群サンプルを前記少なくとも1つのプロセッサに識別させる前記命令が、少なくとも1つのプロセッサに、
    1つまたは複数の候補最近傍点群サンプルがフレーム間サンプルであると決定させ、
    前記点群と前記候補最近傍点群サンプルとの間のオフセットに対応する最大許容フレーム数を決定させ、
    前記点群と前記候補最近傍点群サンプルとの間の変化度を計算させ、
    最も低いオフセットおよび最も低い変化度を有する前記候補フレーム間最近傍点群サンプルのうちの1つまたは複数を選択させる
    命令を含む、請求項15に記載のコンピュータ可読記憶媒体。
  18. 前記1つまたは複数のフレーム間最近傍点群サンプルを前記少なくとも1つのプロセッサに識別させる前記命令が、前記動き推定不確実性値に基づいて前記選択された最近傍点群サンプルを前記少なくとも1つのプロセッサに並べ替えさせる命令をさらに含む、請求項17に記載のコンピュータ可読記憶媒体。
  19. 前記点群からの時間距離が最も短い前記時間候補点が最も高くランク付けされる、請求項15に記載のコンピュータ可読記憶媒体。
  20. 前記動き推定不確実性値が前記しきい値より高いという判定に基づいて、前記フレーム間点群サンプルが前記加重平均から除外される、請求項15に記載のコンピュータ可読記憶媒体。
JP2021534358A 2019-03-20 2020-03-20 フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム Active JP7384520B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962821068P 2019-03-20 2019-03-20
US62/821,068 2019-03-20
US16/823,994 2020-03-19
US16/823,994 US10979730B2 (en) 2019-03-20 2020-03-19 Techniques and apparatus for interframe point cloud attribute coding
PCT/US2020/023762 WO2020191260A1 (en) 2019-03-20 2020-03-20 Techniques and apparatus for interframe point cloud attribute coding

Publications (2)

Publication Number Publication Date
JP2022516232A true JP2022516232A (ja) 2022-02-25
JP7384520B2 JP7384520B2 (ja) 2023-11-21

Family

ID=72514096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021534358A Active JP7384520B2 (ja) 2019-03-20 2020-03-20 フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム

Country Status (5)

Country Link
US (1) US10979730B2 (ja)
EP (1) EP3871420A4 (ja)
JP (1) JP7384520B2 (ja)
CN (1) CN113475083B (ja)
WO (1) WO2020191260A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11606561B2 (en) * 2019-07-03 2023-03-14 Tencent America LLC Method and apparatus for adaptive point cloud attribute coding
US11158107B2 (en) * 2019-10-03 2021-10-26 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN114616827A (zh) 2019-10-03 2022-06-10 Lg电子株式会社 点云数据发送装置及方法、点云数据接收装置及方法
US11551334B2 (en) * 2020-01-09 2023-01-10 Tencent America LLC Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
US20230154052A1 (en) * 2020-04-24 2023-05-18 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
CN114598883A (zh) * 2020-12-07 2022-06-07 腾讯科技（深圳）有限公司 点云属性的预测方法、编码器、解码器及存储介质
WO2022120594A1 (zh) * 2020-12-08 2022-06-16 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机存储介质
CN117097898A (zh) * 2021-03-12 2023-11-21 腾讯科技（深圳）有限公司 基于点云属性预测的解码、编码方法、解码器及编码器
CN115086658B (zh) * 2021-03-12 2023-07-25 腾讯科技（深圳）有限公司 点云数据的处理方法、装置、存储介质及编解码设备
EP4325852A1 (en) * 2021-04-15 2024-02-21 LG Electronics Inc. Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
EP4156108A1 (en) * 2021-09-23 2023-03-29 V-Nova International Limited Point cloud data frames compression
WO2023059089A1 (ko) * 2021-10-06 2023-04-13 엘지전자 주식회사 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
WO2023093865A1 (en) * 2021-11-26 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
WO2023198168A1 (en) * 2022-04-14 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
WO2024008019A1 (en) * 2022-07-04 2024-01-11 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
GB2623372A (en) * 2022-10-14 2024-04-17 Canon Kk Method and apparatus for compression and encoding of 3D dynamic point cloud

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170347122A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
WO2020071414A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP2020527001A (ja) * 2017-10-12 2020-08-31 三菱電機株式会社 点群エンコーダ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108864B2 (en) * 2015-12-29 2018-10-23 Texas Instruments Incorporated Stationary-vehicle structure from motion
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
WO2018009746A1 (en) 2016-07-08 2018-01-11 Vid Scale, Inc. 360-degree video coding using geometry projection
US11454710B2 (en) * 2019-01-08 2022-09-27 Apple Inc. Point cloud compression using a space filling curve for level of detail generation
US11348284B2 (en) * 2019-01-08 2022-05-31 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170347122A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
JP2020527001A (ja) * 2017-10-12 2020-08-31 三菱電機株式会社 点群エンコーダ
WO2020071414A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Also Published As

Publication number Publication date
EP3871420A1 (en) 2021-09-01
JP7384520B2 (ja) 2023-11-21
EP3871420A4 (en) 2021-12-22
US20200304823A1 (en) 2020-09-24
WO2020191260A1 (en) 2020-09-24
CN113475083B (zh) 2024-05-03
US10979730B2 (en) 2021-04-13
CN113475083A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
JP7384520B2 (ja) フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム
JP7263521B2 (ja) インターフレーム点群属性符号化のための方法並びにその、装置およびコンピュータプログラム
JP7234375B2 (ja) 点群属性コーディングの加重中央値を予測するための手法及びデバイス並びにコンピュータプログラム
JP7261300B2 (ja) 適応ポイントクラウド属性コーディングのための方法、装置、及びコンピュータプログラム
RU2769460C1 (ru) Способ и устройство для кодирования коэффициентов трансформации с алфавитным разделением для сжатия облака точек
JP7213368B2 (ja) 点群属性コーディングのためのチャネル間予測および変換の技術並びに装置
US20210006797A1 (en) Method and apparatus for adaptive point cloud attribute coding
US11551334B2 (en) Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
US11606561B2 (en) Method and apparatus for adaptive point cloud attribute coding
CN113115019B (zh) 视频编解码方法、装置、计算机设备及存储介质
CN113179411A (zh) 点云属性编解码方法、装置、计算机设备及存储介质
CN112188199B (zh) 自适应点云属性编码的方法、装置、电子设备和存储介质
US11983907B2 (en) Techniques and apparatus for explicit quad-tree and binary-tree partitioning for geometry coding
CN112188216A (zh) 视频数据的编码方法、装置、计算机设备及存储介质
CN112616058A (zh) 视频编码或解码方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231102

R150 Certificate of patent or registration of utility model

Ref document number: 7384520

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150