JP2022516847A - 適応ポイントクラウド属性コーディングのための方法、装置、及びコンピュータプログラム - Google Patents

Abstract

適応ポイントクラウド属性コーディングの方法は、ポイントクラウドデータに含まれる現在ポイントの属性を取し、そして、取得した属性の候補予測値を取得することを含み、候補予測値は、現在ポイントからポイントクラウドデータに含まれる他のポイントそれぞれまでの複数の距離の加重平均値、現在ポイントから他のポイントのうち一番近いポイントまでの第１の距離の第１の予測値、及び現在ポイントから他のポイントのうち一番近いポイントの後の二番目に近いポイントまでの第２の距離の第２の予測値、のいずれか１つ又は組み合わせを含む。当該方法は更に、取得した属性について、レート歪み最適化を用いて、取得した候補予測値のうち１つを選択し、そして、デコーダに対して、取得した候補予測値が加重平均値を含むかを指し示すフラグを設定することを含む。

Description

この出願は、米国特許商標庁に、２０１９年３月２６日に出願された米国仮特許出願第６２／８２４，２６２号、及び２０２０年３月１９日に出願された米国出願第１６／８２３，５６３からの優先権を主張するものであり、それらの開示をそれらの全体にてここに援用する。

実施形態と一致する方法及び装置は、グラフベースのポイントクラウド圧縮（graph-based point cloud compression；Ｇ－ＰＣＣ）に関し、より具体的には、適応ポイントクラウド属性コーディングのための方法及び装置に関する。

世界の高度な三次元（３Ｄ）表現が、より没入的な形態でのインタラクション及びコミュニケーションを可能にしつつあり、また機械が我々の世界を理解し、解釈し、ナビゲートすることを可能にする。そのような情報の表現を可能にするものとして３Ｄポイントクラウドが浮上している。ポイントクラウドデータに関連する多数の使用事例が確認されており、対応するポイントクラウド表現及び圧縮の要件が開発されている。

ポイントクラウドは、各点が例えば色や材料特性などといった属性に関連付けられた、３Ｄ空間内の点（ポイント）の集合である。ポイントクラウドは、オブジェクト又はシーンを、そのような点から成るものとして再構成するために使用されることができる。それらは、様々なセットアップにある複数のカメラ及び深さセンサを使用して捕捉されることができ、再構成されるシーンを現実のもののように表現するために数千から数十億もの点で構成され得る。

ポイントクラウドを表現するためのデータの量を減らすために、圧縮技術が必要とされる。従って、リアルタイム通信及び６自由度（６ＤｏＦ）の仮想現実での使用には、ポイントクラウドの非可逆圧縮の技術が必要とされている。また、自律運転用途及び文化遺産用途などでの動的マッピングのコンテキストにおいて、可逆ポイントクラウド圧縮の技術が求められている。ムービングピクチャエキスパートグループ（ＭＰＥＧ）は、例えば色及び反射率などのジオメトリ及び属性の圧縮、スケーラブル／プログレッシブコーディング、時間をかけてキャプチャされるポイントクラウドのシーケンスの符号化、及びポイントクラウドのサブセットへのランダムアクセスに対処する標準について作業を開始している。

図１は、Ｇ－ＰＣＣにおいてレベル・オブ・ディテール（level of detail；ＬｏＤ）を生成する方法を示す図である。

図１を参照するに、現行のＧ－ＰＣＣ属性コーディングでは、各３Ｄポイント（例えば、Ｐ０－Ｐ９）のＬｏＤ（すなわち、グループ）が各３Ｄポイントの距離に基づいて生成され、そして、各ＬｏＤ内の３Ｄポイントの属性値が、３Ｄポイントの元々の順序１０５の代わりにＬｏＤベースの順序１１０で予測を適用することによって符号化される。例えば、３ＤポイントＰ２の属性値は、３ＤポイントＰ２の前に符号化又は復号された３ＤポイントＰ０、Ｐ５及びＰ４の距離に基づく加重平均値を計算することによって予測される。

Ｇ－ＰＣＣにおける現行のアンカー方法は以下のように進められる。

第一に、近傍の値がどれだけ異なるかを検査するために、３Ｄポイントの近傍の可変性が計算され、可変性が閾値より低い場合、現在ポイントｉの最近傍の距離に基づく線形補間プロセスを用いて、属性値（ａ_ｉ）_{ｉ∈０，…，ｋ－１}を予測することによって、距離に基づく加重平均予測の計算が行われる。

を現在ポイントｉのｋ個の最近傍の集合とし、

をそれらの復号／再構成された属性値とし、

を現在ポイントｉまでのそれらの距離とする。すると、予測される属性値：

は、

によって与えられる。

なお、属性が符号化されるときに、既に全てのポイントクラウドの幾何学的位置が利用可能である。加えて、隣接ポイントは、それらの再構成された属性値と共に、エンコーダ及びデコーダの双方において、同じ手法での各ポイントについての最近傍探索を支援するために使用されるｋ次元ツリー構造として利用可能である。

第二に、可変性が閾値より高い場合には、レート歪み最適化（rate-distortion optimized；ＲＤＯ）予測子選択が実行される。複数の予測子候補又は候補予測値が、ＬｏＤを生成する際の隣接ポイント探索の結果に基づいて作成される。例えば、予測を用いて３ＤポイントＰ２の属性値を符号化されるとき、３ＤポイントＰ２から３ＤポイントＰ０、Ｐ５及びＰ４それぞれまでの距離の加重平均値が、０に等しい予測子インデックスに設定される。次いで、３ＤポイントＰ２から最隣接ポイントＰ４までの距離が、１に等しい予測子インデックスに設定される。さらに、下の表１に示すように、３ＤポイントＰ２から次の最隣接ポイントＰ５及びＰ０それぞれまでの距離が、２及び３に等しい予測子インデックスに設定される。

予測子候補を作成した後、レート歪み最適化手順を適用することによって最良の予測子が選択され、次いで、選択された予測子インデックスが、それらのビンが算術的に符号化されることになるトランケーテッドユナリー（truncated unary；ＴＵ）コードにマッピングされる。なお、表１中の、より小さい予測子インデックスに、より短いＴＵコードが割り当てられることになる。

予測子候補の最大数MaxNumCandが定められ、属性ヘッダ内にエンコードされる。現行の実装では、予測子候補の最大数MaxNumCandは、numberOfNearestNeighborsInPrediction＋１に等しく設定され、トランケーテッドユナリー二値化を用いて予測子インデックスを符号化及び復号する際に使用される。

Ｇ－ＰＣＣにおける属性コーディングのための予測では、表１に示したように、予測子候補選択の順序が固定される。しかしながら、データ特性及び可変性閾値に依存して、選択される予測子インデックスの頻度は、表１に与えられるような固定の順序に従わず、それが圧縮効率の低下につながることになる。

実施形態によれば、適応ポイントクラウド属性コーディングの方法は、少なくとも１つのプロセッサによって実行され、ポイントクラウドデータに含まれる現在ポイントの属性を取し、そして、取得した属性の候補予測値を取得することを含み、候補予測値は、現在ポイントからポイントクラウドデータに含まれる他のポイントそれぞれまでの複数の距離の加重平均値、現在ポイントから他のポイントのうち一番近いポイントまでの第１の距離の第１の予測値、及び現在ポイントから他のポイントのうち一番近いポイントの後の二番目に近いポイントまでの第２の距離の第２の予測値、のいずれか１つ又は組み合わせを含む。当該方法は更に、取得した属性について、レート歪み最適化を用いて、取得した候補予測値のうち１つを選択し、そして、デコーダに対して、取得した候補予測値が加重平均値を含むかを指し示すフラグを設定することを含む。

実施形態によれば、適応ポイントクラウド属性コーディング用の装置は、コンピュータプログラムコードを格納するように構成された少なくとも１つのメモリと、該少なくとも１つのメモリにアクセスし、上記コンピュータプログラムコードに従って動作するように構成された少なくとも１つのプロセッサと、を含む。上記コンピュータプログラムコードは、上記少なくとも１つのプロセッサに、ポイントクラウドデータに含まれる現在ポイントの属性を取得させるように構成された第１の取得コードと、上記少なくとも１つのプロセッサに、取得した属性の候補予測値を取得させるように構成された第２の取得コードとを含み、候補予測値は、現在ポイントからポイントクラウドデータに含まれる他のポイントそれぞれまでの複数の距離の加重平均値、現在ポイントから他のポイントのうち一番近いポイントまでの第１の距離の第１の予測値、及び現在ポイントから他のポイントのうち一番近いポイントの後の二番目に近いポイントまでの第２の距離の第２の予測値、のいずれか１つ又は組み合わせを含む。上記コンピュータプログラムコードは更に、上記少なくとも１つのプロセッサに、取得した属性について、レート歪み最適化を用いて、取得した候補予測値のうち１つを選択させるように構成された選択コードと、上記少なくとも１つのプロセッサに、デコーダに対して、取得した候補予測値が加重平均値を含むかを指し示すフラグを設定させるように構成された設定コードとを含む。

実施形態によれば、非一時的なコンピュータ読み取り可能記憶媒体は命令を格納し、該命令は、少なくとも１つのプロセッサに、ポイントクラウドデータに含まれる現在ポイントの属性を取得させ、そして、取得した属性の候補予測値を取得させ、候補予測値は、現在ポイントからポイントクラウドデータに含まれる他のポイントそれぞれまでの複数の距離の加重平均値、現在ポイントから他のポイントのうち一番近いポイントまでの第１の距離の第１の予測値、及び現在ポイントから他のポイントのうち一番近いポイントの後の二番目に近いポイントまでの第２の距離の第２の予測値、のいずれか１つ又は組み合わせを含む。上記命令は更に、上記少なくとも１つのプロセッサに、取得した属性について、レート歪み最適化を用いて、取得した候補予測値のうち１つを選択させ、そして、デコーダに対して、取得した候補予測値が加重平均値を有するかを指し示すフラグを設定させる。

Ｇ－ＰＣＣにおいてＬｏＤを生成する方法を示す図である。 実施形態に従った通信システムのブロック図である。 実施形態に従った環境におけるＧ－ＰＣＣ圧縮器及びＧ－ＰＣＣ解凍器の配置の図である。 実施形態に従ったＧ－ＰＣＣ圧縮器の機能ブロック図である。 実施形態に従ったＧ－ＰＣＣ解凍器の機能ブロック図である。 実施形態に従った適応ポイントクラウド属性コーディングの方法を示すフローチャートである。 実施形態に従った適応ポイントクラウド属性コーディング用の装置のブロック図である。 実施形態を実装するのに適したコンピュータシステムの図である。

ここに記載される実施形態は、適応ポイントクラウド属性コーディングのための方法及び装置を提供する。上述のように、Ｇ－ＰＣＣにおけるＲＤＯ予測子は、各ポイントクラウド属性に対して最適な予測子インデックスを符号化する。これが意味することは、低い可変性の信号の場合のように、対応する歪み抑制が、サイド情報の使用の代償として比較的小さい場合に、又は低いビットレートで符号化する場合に、そのようなサイド情報の符号化コストが負担となり得るということである。

従って、この開示にて、予測子インデックスの適応的な決定の方法が提案される。理論的根拠となるのは、上述のように可変性閾値検査ステップにおいて平均予測子の使用が既に検討されているので、後続のＲＤＯ決定ステップに平均予測子を含めることは、幾分冗長であり、レート歪み効率の低下につながる可能性が高いということである。これは、低ダイナミックレンジの反射率データの符号化又は低ビットレートでの符号化においてのように、予測子インデックスの符号化の相対的なオーバヘッドが大きいときに、よりいっそう有用になり得る。

図２は、実施形態に従った通信システム２００のブロック図である。通信システム２００は、ネットワーク２５０を介して相互接続された少なくとも２つの端末２１０及び２２０を含み得る。データの一方向伝送では、第１の端末２１０は、ネットワーク２５０を介した他方の端末２２０への伝送のために、ローカル位置でポイントクラウドデータを符号化し得る。第２の端末２２０は、第１の端末２１０の符号化されたポイントクラウドデータをネットワーク２５０から受信し、符号化されたポイントクラウドデータを復号し、そして、復元されたポイントクラウドデータを表示し得る。一方向データ伝送は、メディアサービス提供アプリケーション及びそれに類するものにおいて一般的であり得る。

図２は更に、例えばテレビ会議中に発生し得る符号化されたポイントクラウドデータの双方向伝送をサポートするように設けられた第２対の端末２３０及び２４０を例示している。データの双方向伝送では、各端末２３０又は２４０が、ローカル位置でキャプチャされたポイントクラウドデータを、ネットワーク２５０を介した他方の端末への伝送のために符号化し得る。各端末２３０又は２４０はまた、他方の端末によって送信された符号化されたポイントクラウドデータを受信することができ、符号化されたポイントクラウドデータを復号し、そして、復元されたポイントクラウドデータをローカルのディスプレイ装置に表示し得る。

図２において、端末２１０－２４０は、サーバ、パーソナルコンピュータ、及びスマートフォンとして例示され得るが、実施形態の原理はそのように限定されるものではない。実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のテレビ会議機器での用途を見出す。ネットワーク２５０は、例えば、有線通信ネットワーク及び／又は無線通信ネットワークを含め、端末２１０－２４０間で符号化されたポイントクラウドデータを伝達するあらゆる数のネットワークを表す。通信ネットワーク２５０は、回線交換チャネル及び／又はパケット交換チャネルにてデータを交換し得る。代表的なネットワークは、遠距離通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含む。本説明の目的上、ネットワーク２５０のアーキテクチャ及びトポロジーは、以下にて説明しない限り、実施形態の動作にとって重要ではないとし得る。

図３は、実施形態に従った、環境におけるＧ－ＰＣＣ圧縮器３０３及びＧ－ＰＣＣ解凍器３１０の配置の図である。開示に係る事項は、例えば、テレビ会議や、デジタルＴＶや、ＣＤ、ＤＶＤ、メモリスティック及びこれらに類するものを含むデジタル媒体上での圧縮ポイントクラウドデータの格納などを含め、ポイントクラウドを使用可能な他の用途にも等しく適用可能であることができる。

ストリーミングシステム３００は、例えば未圧縮のポイントクラウドデータ３０２を作り出す例えばデジタルカメラといったポイントクラウドソース３０１を含むことができるキャプチャサブシステム３１３を含み得る。大きめのデータボリュームを持つこのポイントクラウドデータ３０２は、ポイントクラウドソース３０１に結合されたＧ－ＰＣＣ圧縮器３０３によって処理されることができる。Ｇ－ＰＣＣ圧縮器３０３は、更に詳細に後述される開示に係る事項の態様を使用可能にする又は実装するための、ハードウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。より小さいデータボリュームを持つ符号化されたポイントクラウドデータ３０４は、後の使用のためにストリーミングサーバ３０５に格納されることができる。１つ以上のストリーミングクライアント３０６及び３０８が、符号化されたポイントクラウドデータ３０４のコピー３０７及び３０９を取り出すためにストリーミングサーバ３０５にアクセスすることができる。クライアント３０６は、Ｇ－ＰＣＣ解凍器３１０を含むことができ、これが、符号化されたポイントクラウドデータの入力コピー３０７を復号し、ディスプレイ３１２又は他のレンダリング装置（図示せず）上にレンダリングされることが可能な出力ポイントクラウドデータ３１１を作り出す。一部のストリーミングシステムにおいて、符号化されたポイントクラウドデータ３０４、３０７及び３０９は、映像符号化／圧縮標準に従って符号化されることができる。それら標準の例は、Ｇ－ＰＣＣようにＭＰＥＧによって開発されているものを含む。

図４は、実施形態に従ったＧ－ＰＣＣ圧縮器３０３の機能ブロック図である。

図４に示すように、Ｇ－ＰＣＣ圧縮器３０３は、量子化器４０５、ポイント除去モジュール４１０、オクツリー（八分木）エンコーダ４１５、属性転送モジュール４２０、ＬｏＤ生成器４２５、予測モジュール４３０、量子化器４３５、及び算術コーダ４４０を含む。

量子化器４０５は、入力ポイントクラウド内のポイントの位置を受信する。位置は（ｘ，ｙ，ｚ）座標とし得る。量子化器４０５は更に、例えばスケーリングアルゴリズム及び／又はシフトアルゴリズムを用いて、受信した位置を量子化する。

ポイント除去モジュール４１０は、量子化器４０５から量子化された位置を受信し、受信した量子化された位置から重複する位置を除去又はフィルタリングする。

オクツリーエンコーダ４１５は、ポイント除去モジュール４１０からフィルタリングされた位置を受信し、受信したフィルタリングされた位置を、八分木符号化アルゴリズムを用いて、入力ポイントクラウドを表す八分木の占有シンボルへと符号化する。八分木に対応する入力ポイントクラウドの境界ボックスは、任意の３Ｄ形状、例えば立方体、とし得る。

オクツリーエンコーダ４１５は更に、受信したフィルタリングされた位置を、フィルタリングされた位置の符号化に基づいて並べ替える。

属性転送モジュール４２０は、入力ポイントクラウド内のポイントの属性を受信する。属性は、例えば、各ポイントの色若しくはＲＧＢ値及び／又は反射率を含み得る。属性転送モジュール４２０は更に、オクツリーエンコーダ４１５から、並べ替えられた位置を受信する。

属性転送モジュール４２０は更に、受信した並べ替えられた位置に基づいて、受信した属性を更新する。例えば、属性転送モジュール４２０は、受信した属性に対して、数ある前処理アルゴリズムのうち１つ以上を実行することができ、前処理アルゴリズムは、例えば、受信した属性の重み付け及び平均化、並びに受信した属性からの追加の属性の補間を含む。属性転送モジュール４２０は更に、更新した属性を予測モジュール４３０に転送する。

ＬｏＤ生成器４２５は、オクツリーエンコーダ４１５から並べ替えられた位置を受信し、受信した並べ替えられた位置に対応するポイントの各々のＬｏＤを取得する。各ＬｏＤは一群のポイントであると見なすことができ、それらのポイントの各々の距離に基づいて取得され得る。例えば、図１に示したように、ポイントＰ０、Ｐ５、Ｐ４及びＰ２は、ＬＯＤ０なるＬｏＤ内にあるとすることができ、ポイントＰ０、Ｐ５、Ｐ４、Ｐ２、Ｐ１、Ｐ６及びＰ３は、ＬＯＤ１なるＬｏＤ内にあるとすることができ、ポイントＰ０、Ｐ５、Ｐ４、Ｐ２、Ｐ１、Ｐ６、Ｐ３、Ｐ９、Ｐ８及びＰ７は、ＬＯＤ２なるＬｏＤ内にあるとすることができる。

予測モジュール４３０は、属性転送モジュール４２０から転送された属性を受信するとともに、ＬｏＤ生成器４２５から、ポイントの各々の取得されたＬｏＤを受信する。予測モジュール４３０は、ポイントの各々の受信したＬｏＤに基づく順序で、受信した属性に予測アルゴリズムを適用することにより、受信した属性それぞれの予測残差（値）を取得する。予測アルゴリズムは、例えば、補間、加重平均計算、最近接アルゴリズム及びＲＤＯなどの様々な予測アルゴリズムのうちのいずれかを含み得る。

例えば、図１に示したように、ＬＯＤ０なるＬｏＤに含まれるポイントＰ０、Ｐ５、Ｐ４及びＰ２の受信した属性それぞれの予測残差が、ＬＯＤ１及びＬＯＤ２なるＬｏＤに含まれるポイントＰ１、Ｐ６、Ｐ３、Ｐ９、Ｐ８及びＰ７の受信した属性それぞれの予測残差に先立って、最初に取得され得る。ポイントＰ２の受信した属性の予測残差は、ポイントＰ０、Ｐ５及びＰ４の加重平均に基づく距離を計算することによって取得され得る。

量子化器４３５は、予測モジュール４３０から、取得された予測残差を受信し、例えばスケーリングアルゴリズム及び／又はシフトアルゴリズムを用いて、受信した予測残差を量子化する。

算術コーダ４４０は、オクツリーエンコーダ４１５から占有シンボルを受信するとともに、量子化器４３５から、量子化された予測残差を受信する。算術コーダ４４０は、受信した占有シンボル及び量子化された予測残差に対して算術符号化を実行して、圧縮されたビットストリームを得る。算術符号化は、例えば、コンテキスト適応バイナリ算術符号化などの様々なエントロピー符号化アルゴリズムのうちのいずれかを含み得る。

図５は、実施形態に従ったＧ－ＰＣＣ解凍器３１０の機能ブロック図である。

図５に示すように、Ｇ－ＰＣＣ解凍器３１０は、算術デコーダ５０５、オクツリーデコーダ５１０、逆量子化器５１５、ＬｏＤ生成器５２０、逆量子化器５２５、及び逆予測モジュール５３０を含む。

算術デコーダ５０５は、Ｇ－ＰＣＣ圧縮器３０３から、圧縮されたビットストリームを受信し、受信した圧縮ビットストリームに対して算術復号を実行して、占有シンボル及び量子化された予測残差を取得する。算術復号は、例えば、コンテキスト適応バイナリ算術復号化などの様々なのエントロピー復号アルゴリズムのうちのいずれかを含み得る。

オクツリーデコーダ５１０は、算術デコーダ５０５から、取得された占有シンボルを受信し、オクツリー復号アルゴリズムを用いて、受信した占有シンボルを量子化された位置へと復号する。

逆量子化器５１５は、オクツリーデコーダ５１０から量子化された位置を受信し、例えばスケーリングアルゴリズム及び／又はシフトアルゴリズムを用いて、受信した量子化された位置を逆量子化して、入力ポイントクラウド内のポイントの再構成された位置を取得する。

ＬｏＤ生成器５２０は、オクツリーデコーダ５１０から量子化された位置を受信し、受信した量子化された位置に対応するポイントの各々のＬｏＤを取得する。

逆量子化器５２５は、取得された量子化された予測残差を受信し、例えばスケーリングアルゴリズム及び／又はシフトアルゴリズムを用いて、受信した量子化された予測残差を逆量子化して、再構成された予測残差を取得する。

逆予測モジュール５３０は、逆量子化器５２５から、取得された再構成された予測残差を受信するとともに、ＬｏＤ生成器５２０から、ポイントの各々の取得されたＬｏＤを受信する。逆予測モジュール５３０は、ポイントの各々の受信したＬｏＤに基づく順序で、受信した再構成された予測残差に予測アルゴリズムを適用することにより、受信した再構成された予測残差それぞれの再構成された属性を取得する。予測アルゴリズムは、例えば、補間、加重平均計算、最近接アルゴリズム及びＲＤＯなどの様々な予測アルゴリズムのうちのいずれかを含み得る。再構成された属性は、入力ポイントクラウド内のポイントのものである。

次に、適応ポイントクラウド属性コーディングのための方法及び装置を詳細に説明する。このような方法及び装置は、上述のＧ－ＰＣＣ圧縮器３０３、はっきり言えば、予測モジュール４３０に実装され得る。

実施形態において、上の表１に示した予測子インデックスのリストからの平均予測子又は平均予測値を含めるか除外するかを指し示す信号フラグが、エンコーダ（Ｇ－ＰＣＣ圧縮器３０３）からデコーダ（Ｇ－ＰＣＣ解凍器３１０）に送信される。このような信号フラグは、シーケンス毎又はフレーム毎にエンコーダから送信されることができる。

実施形態において、エンコーダは、エンコーダ及びデコーダの双方で取得可能な局所統計に基づいて、信号フラグを設定することができる。一例として、予め指定された過去の時間ウィンドウ内で最も頻繁に選択される予測子候補のヒストグラム計数を使用して、平均予測子がリストに含められるべきかを決定することができる。平均予測子の使用回数が所定の閾値未満である場合、エンコーダは、平均予測子を候補リストから除去する。

実施形態において、予測値に割り当てられる予測子インデックスの適応的な並べ替えが、各予測子候補の可能性を反映する基準に基づいて行われる。一例として、最も近いポイントＰ４が平均よりも頻繁に選択されている場合、最も近いポイントＰ４の予測値が第１の予測子インデックス０に割り当てられ、平均予測値が第２の予測子インデックス１に（又は更に後ろに）割り当てられる。このプロセスは、全ての予測子候補を選択又は使用の頻度の順序でソートし、対応する予測子インデックスを予測子候補に割り当てるように一般化され得る。より高いランクの予測値（例えば、第１の予測子インデックス０を持つ）は、より低いランクの予測値（例えば、第２の予測子インデックス１を持つ）の前に選択され得る。

実施形態において、信号フラグと予測子インデックスの適応的な並べ替えとの組み合わせを使用することができる。

図６は、実施形態に従った適応ポイントクラウド属性コーディングの方法６００を示すフローチャートである。一部の実装において、図６の１つ以上のプロセスブロックは、Ｇ－ＰＣＣ解凍器３１０によって実行され得る。一部の実装において、図６の１つ以上のプロセスブロックは、例えばＧ－ＰＣＣ圧縮器３０３などの、Ｇ－ＰＣＣ解凍器３１０かとは別個の又はそれを含んだ別の装置又は装置群によって実行されてもよい。

図６を参照するに、第１のブロック６１０にて、方法６００は、ポイントクラウドデータに含まれる現在ポイントの属性を取得することを含む。

第２のブロック６２０にて、方法６００は、取得した属性の候補予測値を取得することを含み、候補予測値は、現在ポイントからポイントクラウドデータに含まれる他のポイントそれぞれまでの複数の距離の加重平均値、現在ポイントから他のポイントのうち一番近いポイントまでの第１の距離の第１の予測値、及び現在ポイントから他のポイントのうち一番近いポイントの後の二番目に近いポイントまでの第２の距離の第２の予測値、のいずれか１つ又は組み合わせを含む。

第３のブロック６３０にて、方法６００は、取得した属性について、レート歪み最適化を用いて、取得した候補予測値のうち１つを選択することを含む。

第４のブロック６４０にて、方法６００は、デコーダに対して、取得した候補予測値が加重平均値を含むかを指し示すフラグを設定することを含む。

当該方法は更に、シーケンス毎に又はフレーム毎にフラグをデコーダに送信することを含み得る。

当該方法は更に、加重平均値の使用回数が所定の閾値未満であるかを特定することを含み得る。フラグを設定することは、加重平均値の使用回数が所定の閾値未満であると特定されたことに基づいて、取得した候補予測値から加重平均値を除去するとともに、取得した候補予測値が加重平均値を含まないことを指し示すようにフラグを設定することを含み得る。

当該方法は更に、取得した候補予測値の中で最も頻繁に選択されたものを予め指定された時間ウィンドウ内でカウントするヒストグラムに基づいて、加重平均値の使用回数を特定することを含み得る。

当該方法は更に、取得した候補予測値の各々の使用回数に基づいて、取得した候補予測値の順序を取得することを含み得る。

当該方法は更に、取得した候補予測値の中で最も頻繁に選択されたものを予め指定された時間ウィンドウ内でカウントするヒストグラムに基づいて、取得した候補予測値の各々の使用回数を特定することを含み得る。

取得した候補予測値のうち１つを選択することは、レート歪み最適化を用いて、且つ取得した候補予測値の取得した順序に基づいて、取得した属性について、取得した候補予測値のうち１つを選択することを含み得る。

図６は、方法６００のブロック例を示しているが、一部の実装において、方法６００は、図６に示されたものに対して、追加のブロック、より少ないブロック、異なるブロック、又は異なるように編成されたブロックを含んでもよい。
加えて、あるいは代わりに、方法６００のブロックのうちの２つ以上が並行して実行されてもよい。

また、提案される方法は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実装されてもよい。一例において、１つ以上のプロセッサが、非一時的なコンピュータ読み取り可能媒体に格納されたプログラムを実行することで、提案される方法のうちの１つ以上を実行する。

図７は、実施形態に従った適応ポイントクラウド属性コーディング用の装置７００のブロック図である。

図７を参照するに、装置７００は、第１の取得コード７１０、第２の取得コード７２０、選択コード７３０、及び設定コード７４０を含む。

第１の取得コード７１０は、少なくとも１つのプロセッサに、ポイントクラウドデータに含まれる現在ポイントの属性を取得させるように構成される。

第２の取得コード７２０は、少なくとも１つのプロセッサに、取得した属性の候補予測値を取得させるように構成され、候補予測値は、現在ポイントからポイントクラウドデータに含まれる他のポイントそれぞれまでの複数の距離の加重平均値、現在ポイントから他のポイントのうち一番近いポイントまでの第１の距離の第１の予測値、及び現在ポイントから他のポイントのうち一番近いポイントの後の二番目に近いポイントまでの第２の距離の第２の予測値、のいずれか１つ又は組み合わせを含む。

選択コード７３０は、少なくとも１つのプロセッサに、取得した属性について、レート歪み最適化を用いて、取得した候補予測値のうち１つを選択させるように構成される。

設定コード７４０は、少なくとも１つのプロセッサに、デコーダに対して、取得した候補予測値が加重平均値を含むかを指し示すフラグを設定させるように構成される。

装置７００は更に、少なくとも１つのプロセッサに、シーケンス毎に又はフレーム毎にフラグをデコーダに送信させるように構成された送信コード、を含み得る。
更に有する請求項８に記載の装置。

当該装置は更に、少なくとも１つのプロセッサに、加重平均値の使用回数が所定の閾値未満であるかを特定させるように構成された特定コード、を含み得る。設定コードは更に、少なくとも１つのプロセッサに、加重平均値の使用回数が所定の閾値未満であると特定されたことに基づいて、取得した候補予測値から加重平均値を除去させるとともに、取得した候補予測値が加重平均値を含まないことを指し示すようにフラグを設定させるように構成され得る。

特定コードは更に、少なくとも１つのプロセッサに、取得した候補予測値の中で最も頻繁に選択されたものを予め指定された時間ウィンドウ内でカウントするヒストグラムに基づいて、加重平均値の使用回数を特定させるように構成され得る。

当該装置は更に、少なくとも１つのプロセッサに、取得した候補予測値の各々の使用回数に基づいて、取得した候補予測値の順序を取得させるように構成された第３の取得コード、を含み得る。

特定コードは更に、少なくとも１つのプロセッサに、取得した候補予測値の中で最も頻繁に選択されたものを予め指定された時間ウィンドウ内でカウントするヒストグラムに基づいて、取得した候補予測値の各々の使用回数を特定させるように構成され得る。

選択コードは更に、少なくとも１つのプロセッサに、レート歪み最適化を用いて、且つ取得した候補予測値の取得した順序に基づいて、取得した属性について、取得した候補予測値のうち１つを選択させるように構成され得る。

図８は、実施形態を実装するのに適したコンピュータシステム８００の図である。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は同様の機構に掛けられることで、直接的に又はインタープリット、マイクロコード実行及びこれらに類するものを介してコンピュータ中央演算処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、及びこれらに類するものによって実行されることが可能な命令を含むコードを作り出し得るような、任意の好適な機械コード又はコンピュータ言語を用いてコード化され得る。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、及びこれらに類するものを含め、様々なタイプのコンピュータ又はそのコンポーネント上で実行され得る。

コンピュータシステム８００に関して図８に示したコンポーネントは、本質的に例であり、実施形態を実装するコンピュータソフトウェアの使用又は機能性の範囲についての何らかの限定を示唆する意図はない。また、コンポーネントの構成も、コンピュータシステム８００の実施形態に示されたコンポーネントの任意の１つ又は組み合わせに関する何らかの従属性又は要件も持つものとして解釈されるべきでない。

コンピュータシステム８００は、特定のヒューマンインタフェース入力装置を含んでもよい。そのようなヒューマンインタフェース入力装置は、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブを動かすことなど）、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャなど）、嗅覚入力（図示せず）を介した、一人以上の人間ユーザによる入力に応答し得る。ヒューマンインタフェース装置はまた、例えばオーディオ（例えば、会話、音楽、周囲の音など）、画像（例えば、走査画像、静止画カメラから得られる写真画像など）、映像（例えば、２次元映像、立体視映像を含む３次元映像など）などの、人間による意識的な入力には必ずしも直接関係しない特定の媒体を捕捉するために使用されてもよい。

入力ヒューマンインタフェース装置は、キーボード８０１、マウス８０２、トラックパッド８０３、タッチスクリーン８１０、ジョイスティック８０５、マイクロフォン８０６、スキャナ８０７、及びカメラ８０８（各々１つのみ図示している）のうちの１つ以上を含み得る。

コンピュータシステム８００はまた、特定のヒューマンインタフェース出力装置を含み得る。そのようなヒューマンインタフェース出力装置は、例えば、触覚出力、音、光、及び臭い／味を通して、一人以上の人間ユーザの感覚を刺激し得る。そのようなヒューマンインタフェース出力装置は、触覚出力装置（例えば、タッチスクリーン８１０又はジョイスティック８０５による触覚フィードバックであるが、入力装置として機能しない触覚フィードバック装置もあってもよい）、オーディオ出力装置（例えば、スピーカー８０９、ヘッドフォン（図示せず）など）、視覚出力装置（例えば、陰極線管（ＣＲＴ）スクリーン、液晶ディスプレイ（ＬＣＤ）スクリーン、プラズマスクリーン、有機発光ダイオード（ＯＬＥＤ）スクリーンを含むスクリーン８１０（各々がタッチスクリーン入力機能を有する又は有さない。各々が触覚フィードバック機能を有する又は有さない。これらの一部は、二次元の視覚出力、又は例えば立体視出力などの手段を通じて四次元以上の出力を出力することができるとし得る。）、仮想現実グラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）など）、及びプリンタ（図示せず）を含み得る。グラフィックスアダプタ８５０が、画像を生成し、タッチスクリーン８１０に出力する。

コンピュータシステム８００はまた、例えば、ＣＤ／ＤＶＤ若しくは類似の媒体８２１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷドライブ８２０を含む光媒体、サムドライブ８２２、取り外し可能なハードドライブ若しくは又はソリッドステートドライブ８２３、例えばテープ及びフロッピーディスク（登録商標、図示せず）などのレガシー磁気媒体、例えばセキュリティドングルなどの特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置（図示せず）、及びこれらに類するものなどの、人間アクセス可能なストレージ装置及びそれらの関連媒体を含み得る。

当業者がこれまた理解するはずのことには、ここでの開示に係る事項に関連して使用される用語“コンピュータ読み取り可能媒体”は、伝送媒体、搬送波、又は他の一時的な信号を含まない。

コンピュータシステム８００はまた、１つ以上の通信ネットワーク８５５への（１つ以上の）インタフェースを含み得る。通信ネットワーク８５５は、例えば、無線、有線、光とし得る。ネットワーク８５５は更に、ローカル、広域、大都市、車両及び産業、リアルタイム、耐遅延などとし得る。ネットワーク８５５の例は、例えばイーサネット（登録商標）などのローカルエリアネットワークや、無線ＬＡＮや、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、第３世代（３Ｇ）、第４世代（４Ｇ）、第５世代（５Ｇ）、ロングタームエボリューション（ＬＴＥ）、及びこれらに類するものを含むセルラネットワークや、ケーブルＴＶ、衛星ＴＶ、及び地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワークや、ＣＡＮＢｕｓを含む車両及び産業などを含む。ネットワーク８５５は一般に、特定の汎用データポート又はペリフェラルバス８４９（例えば、コンピュータシステム８００のユニバーサルシリアルバス（ＵＳＢ）ポートなど）に取り付けられる外付けネットワークインタフェースアダプタを必要とし、他のものは一般に、例えば、ＰＣコンピュータシステムへのイーサネットインタフェース又はスマートフォンコンピュータシステムへのセルラネットワークインタフェースを含むネットワークインタフェース８５４など、後述のシステムバスへの取り付けによってコンピュータシステム８００のコアに統合される。これらのネットワーク８５５のいずれかを使用して、コンピュータシステム８００は、他のエンティティと通信することができる。そのような通信は、単方向の受信のみ（例えば、放送ＴＶ）であってもよいし、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓ装置に対するＣＡＮｂｕｓ）であってもよいし、あるいは、例えばローカル又は広域デジタルネットワークを用いた他のコンピュータシステムに対しての、双方向であってもよい。特定のプロトコル及びプロトコルスタックが、上述のようにネットワーク８５５及びネットワークインタフェース８５４の各々上で使用され得る。

前述のヒューマンインタフェース装置、人間アクセス可能なストレージ装置、及びネットワークインタフェース８５４は、コンピュータシステム８００のコア８４０に取り付けられることができる。

コア８４０は、１つ以上の中央演算処理ユニット（ＣＰＵ）８４１、グラフィックス処理ユニット（ＧＰＵ）８４２、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）８４３の形態の特殊なプログラム可能なプロセッシングユニット、特定のタスク用のハードウェアアクセラレータ８４４などを含み得る。これらのデバイスは、読み出し専用メモリ（ＲＯＭ）８４５、ランダムアクセスメモリ８４６、例えば内部のユーザアクセス可能でないハードドライブ、ソリッドステートドライブ（ＳＳＤ）などの内部大容量ストレージ８４７、及びこれらに類するものと共に、システムバス８４８を介して接続され得る。一部のコンピュータシステムにおいて、システムバス８４８は、追加のＣＰＵ、ＧＰＵ、及びこれらに類するものによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能にされ得る。周辺装置は、コアのシステムバス８４８に直接的に、又はペリフェラルバス８４９を介して、のいずれで取り付けられてもよい。ペリフェラルバスのアーキテクチャは、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）、ＵＳＢ、及びこれらに類するものを含む。

ＣＰＵ８４１、ＧＰＵ８４２、ＦＰＧＡ８４３、及びハードウェアアクセラレータ８４４は、組み合わさって前述のコンピュータコードを構成することができる特定の命令を実行し得る。そのコンピュータコードは、ＲＯＭ８４５又はＲＡＭ８４６に格納され得る。ＲＡＭ８４６には過渡的なデータも格納されることができ、永久的なデータは、例えば内部大容量ストレージ８４７に格納されることができる。メモリデバイスのいずれかへの高速な記憶及び取り出しが、ＣＰＵ８４１、ＧＰＵ８４２、内部大容量ストレージ８４７、ＲＯＭ８４５、ＲＡＭ８４６、及びこれらに類するものの近くに付随し得るキャッシュメモリの使用によって可能にされ得る。

コンピュータ読み取り可能媒体はその上に、様々なコンピュータ実装処理を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、実施形態の目的に合わせて特別に設計及び構築されたものであってもよいし、あるいは、それらは、コンピュータソフトウェア技術の当業者にとって周知且つ利用可能な種類のものであってもよい。

一例として、限定ではなく、アーキテクチャ、特にコア８４０、を有するコンピュータシステム８００は、１つ以上の有形のコンピュータ読み取り可能媒体に具現化されたソフトウェアを（１つ以上の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、及びこれらに類するものを含む）が実行することの結果として機能を提供することができる。そのようなコンピュータ読み取り可能媒体は、例えばコア内部の大容量ストレージ８４７又はＲＯＭ８４５などの、非一時的性質のものであるコア８４０の特定のストレージ、及び上で紹介したようなユーザアクセス可能な大容量ストレージに関連する媒体とすることができる。様々な実施形態を実装するソフトウェアは、そのような装置に格納され、コア８４０によって実行されることができる。コンピュータ読み取り可能媒体は、具体的なニーズに従って、１つ以上のメモリデバイス又はチップを含み得る。ソフトウェアは、コア８４０及び特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、及びこれらに類するものを含む）に、ＲＡＭ８４６に格納されるデータ構造を規定すること、及びそのようなデータ構造を、ソフトウェアによって規定されたプロセスに従って変更することを含めて、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はソフトウェアと共に動作することができる回路（例えば、ハードウェアアクセラレータ８４４）にて配線された又はその他の方法で具体化されたロジックの結果として、機能を提供してもよい。ソフトウェアへの言及はロジックを含み、また、適当な場合にその逆もまた然りである。コンピュータ読み取り可能媒体への言及は、実行のためのソフトウェアを格納した回路（例えば、集積回路（ＩＣ）など）、実行のためのロジックを具体化した回路、又は適当な場合にこれら双方を含み得る。実施形態は、ハードウェア及びソフトウェアの好適な組み合わせを含む。

この開示は幾つかの実施形態を記述しているが、開示の範囲に入る変更、置換、及び様々な均等な代替が存在する。従って、理解されることには、当業者は、ここでは明示的に図示されたり説明されたりしていないものの、開示の原理を具体化し、それ故に、その精神及び範囲の中にあるような、数多くのシステム及び方法を考案することができるであろう。

Claims (15)

1. 少なくとも１つのプロセッサが実行する適応ポイントクラウド属性コーディングの方法であって、
   ポイントクラウドデータに含まれる現在ポイントの属性を取得するステップと、
   前記取得した属性の候補予測値を取得するステップであり、前記候補予測値は、前記現在ポイントから前記ポイントクラウドデータに含まれる他のポイントそれぞれまでの複数の距離の加重平均値、前記現在ポイントから前記他のポイントのうち一番近いポイントまでの第１の距離の第１の予測値、及び前記現在ポイントから前記他のポイントのうち前記一番近いポイントの後の二番目に近いポイントまでの第２の距離の第２の予測値、のいずれか１つ又は組み合わせを有する、ステップと、
   前記取得した属性について、レート歪み最適化を用いて、前記取得した候補予測値のうち１つを選択するステップと、
   デコーダに対して、前記取得した候補予測値が前記加重平均値を有するかを指し示すフラグを設定するステップと、
   を有する方法。
2. シーケンス毎に又はフレーム毎に前記フラグを前記デコーダに送信するステップ、を更に有する請求項１に記載の方法。
3. 当該方法は更に、前記加重平均値の使用回数が所定の閾値未満であるかを特定するステップを有し、
   前記フラグを前記設定するステップは、前記加重平均値の前記使用回数が前記所定の閾値未満であると特定されたことに基づいて、前記取得した候補予測値から前記加重平均値を除去するとともに、前記取得した候補予測値が前記加重平均値を有しないことを指し示すように前記フラグを設定することを有する、
   請求項１に記載の方法。
4. 前記取得した候補予測値の中で最も頻繁に選択されたものを予め指定された時間ウィンドウ内でカウントするヒストグラムに基づいて、前記加重平均値の前記使用回数を特定するステップ、を更に有する請求項３に記載の方法。
5. 前記取得した候補予測値の各々の使用回数に基づいて、前記取得した候補予測値の順序を取得するステップ、を更に有する請求項１に記載の方法。
6. 前記取得した候補予測値の中で最も頻繁に選択されたものを予め指定された時間ウィンドウ内でカウントするヒストグラムに基づいて、前記取得した候補予測値の各々の前記使用回数を特定するステップ、を更に有する請求項５に記載の方法。
7. 前記取得した候補予測値のうち前記１つを前記選択するステップは、前記レート歪み最適化を用いて、且つ前記取得した候補予測値の前記取得した順序に基づいて、前記取得した属性について、前記取得した候補予測値のうち１つを選択することを有する、請求項５に記載の方法。
8. 適応ポイントクラウド属性コーディング用の装置であって、
   コンピュータプログラムコードを格納するように構成された少なくとも１つのメモリと、
   前記少なくとも１つのメモリにアクセスし、前記コンピュータプログラムコードに従って動作するように構成された少なくとも１つのプロセッサと、
   を有し、前記コンピュータプログラムコードは、
   前記少なくとも１つのプロセッサに、ポイントクラウドデータに含まれる現在ポイントの属性を取得させるように構成された第１の取得コードと、
   前記少なくとも１つのプロセッサに、前記取得した属性の候補予測値を取得させるように構成された第２の取得コードであり、前記候補予測値は、前記現在ポイントから前記ポイントクラウドデータに含まれる他のポイントそれぞれまでの複数の距離の加重平均値、前記現在ポイントから前記他のポイントのうち一番近いポイントまでの第１の距離の第１の予測値、及び前記現在ポイントから前記他のポイントのうち前記一番近いポイントの後の二番目に近いポイントまでの第２の距離の第２の予測値、のいずれか１つ又は組み合わせを有する、第２の取得コードと、
   前記少なくとも１つのプロセッサに、前記取得した属性について、レート歪み最適化を用いて、前記取得した候補予測値のうち１つを選択させるように構成された選択コードと、
   前記少なくとも１つのプロセッサに、デコーダに対して、前記取得した候補予測値が前記加重平均値を有するかを指し示すフラグを設定させるように構成された設定コードと、
   を有する、装置。
9. 前記コンピュータプログラムコードは、
   前記少なくとも１つのプロセッサに、シーケンス毎に又はフレーム毎に前記フラグを前記デコーダに送信させるように構成された送信コード、
   を更に有する、請求項８に記載の装置。
10. 前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサに、前記加重平均値の使用回数が所定の閾値未満であるかを特定させるように構成された特定コード、を更に有し、
    前記設定コードは更に、前記少なくとも１つのプロセッサに、前記加重平均値の前記使用回数が前記所定の閾値未満であると特定されたことに基づいて、前記取得した候補予測値から前記加重平均値を除去させるとともに、前記取得した候補予測値が前記加重平均値を有しないことを指し示すように前記フラグを設定させるように構成される、
    請求項８に記載の装置。
11. 前記特定コードは更に、前記少なくとも１つのプロセッサに、前記取得した候補予測値の中で最も頻繁に選択されたものを予め指定された時間ウィンドウ内でカウントするヒストグラムに基づいて、前記加重平均値の前記使用回数を特定させるように構成される、請求項１０に記載の装置。
12. 前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサに、前記取得した候補予測値の各々の使用回数に基づいて、前記取得した候補予測値の順序を取得させるように構成された第３の取得コード、を更に有する、請求項８に記載の装置。
13. 前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサに、前記取得した候補予測値の中で最も頻繁に選択されたものを予め指定された時間ウィンドウ内でカウントするヒストグラムに基づいて、前記取得した候補予測値の各々の前記使用回数を特定させるように構成された特定コード、を更に有する、請求項１２に記載の装置。
14. 前記選択コードは更に、前記少なくとも１つのプロセッサに、前記レート歪み最適化を用いて、且つ前記取得した候補予測値の前記取得した順序に基づいて、前記取得した属性について、前記取得した候補予測値のうち１つを選択させるように構成される、請求項１２に記載の装置。
15. コンピュータに請求項１乃至７のいずれか一項に記載の方法を実行させるコンピュータプログラム。

Images