JP2023007934A - 点群復号装置、点群復号方法及びプログラム - Google Patents

Abstract

【課題】参照点群をアップサンプリングすることで位置情報のインター予測による符号化効率を高める点群復号装置、点群復号方法及びプログラムを提供する。【解決手段】入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成する点群符号化装置と、ビットストリームを復号することによって出力点群信号を生成する点群復号装置２００と、で構成されている点群処理システムにおいて、点群復号装置２００は、点群の位置情報を再構成する幾何情報再構成部２０４０と、幾何情報再構成部２０４０で再構成された点群をアップサンプリングするアップサンプル部２１２０と、アップサンプリングされた点群を参照してインター予測を行うツリー合成部２０２０と、を備える。アップサンプル部２１２０は、再構成された点群における各点の座標からオフセットベクトルを算出し、オフセットベクトルを用いてアップサンプリングを行う。【選択図】図２

Description

本発明は、点群復号装置、点群復号方法及びプログラムに関する。

非特許文献１には、幾何情報のインター予測技術が開示されている。

［ＰＣＣ］Ａｎ ｅｘｐｌｏｒａｔｏｒｙ ｍｏｄｅｌ ｆｏｒ ｉｎｔｅｒ ｇｅｏｍｅｔｒｙ-ｂａｓｅｄ ＰＣＣ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ ｍ４４７５４ Ｔｅｘｔ ｏｆ ＩＳＯ/ＩＥＣ ２３０９０-９ ＤＩＳ Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ＰＣＣ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１９０８８

しかしながら、非特許文献１では、動き補償した参照点群の点の分布を基に、符号化対象点群の部分空間（ノード）毎の点の存在有無を推定する。この時、特に、参照点群及び符号化対象点群の両方が疎な場合、動き補償の結果に少しでもずれがあると、十分に時間方向の相関を活用できないという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、参照点群をアップサンプリングすることで位置情報のインター予測による符号化効率を高めることができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、点群復号装置であって、点群の位置情報を再構成するように構成されている幾何情報再構成部と、前記幾何情報再構成部で再構成された点群をアップサンプリングするように構成されているアップサンプル部と、前記アップサンプルされた点群を参照してインター予測を行うように構成されているツリー合成部と、を備え、前記アップサンプル部は、前記再構成された点群における各点の座標からオフセットベクトルを算出し、前記オフセットベクトルを用いてアップサンプリングを行うように構成されていることを要旨とする。

本発明の第２の特徴は、点群復号装置であって、複数レベルでのＴｒｉｓｏｕｐを許可するか否かを制御する第１フラグを復号するように構成されている幾何情報復号部を備えることを要旨とする。

本発明の第３の特徴は、点群復号方法であって、点群の位置情報を再構成するように構成されている幾何情報再構成部と、前記幾何情報再構成部で再構成された点群をアップサンプリングする工程Ａと、前記アップサンプリングされた点群を参照してインター予測を行う工程Ｂと、を備え、前記工程Ａにおいて、前記再構成された点群における各点の座標からオフセットベクトルを算出し、前記オフセットベクトルを用いてアップサンプリングを行うことを要旨とする。

本発明の第４の特徴は、コンピュータを、点群復号装置として機能させるプログラムであって、前記点群復号装置は、点群の位置情報を再構成するように構成されている幾何情報再構成部と、前記幾何情報再構成部で再構成された点群をアップサンプリングするように構成されているアップサンプル部と、前記アップサンプリングされた点群を参照してインター予測を行うように構成されているツリー合成部と、を備え、前記アップサンプル部は、前記再構成された点群における各点の座標からオフセットベクトルを算出し、前記オフセットベクトルを用いてアップサンプリングを行うように構成されていることを要旨とする。

本発明によれば、参照点群をアップサンプリングすることで位置情報のインター予測による符号化効率を高めることができる点群復号装置、点群復号方法及びプログラムを提供することができる。

図１は、一実施形態に係る点群処理システム１０の構成の一例を示す図である。 図２は、一実施形態に係る点群復号装置２００の機能ブロックの一例を示す図である。 図３は、一実施形態に係る点群復号装置２００の幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例を示す図である。 図４は、ＧＰＳ２０１１のシンタックス構成の一例を示す図である。 図５は、一実施形態に係る点群復号装置２００のアップサンプル部２１２０におけるアップサンプリングの一例を示すフローチャートである。 図６Ａは、一実施形態に係る点群復号装置２００のアップサンプル部２１２０の動作を説明するための図である。 図６Ｂは、一実施形態に係る点群復号装置２００のアップサンプル部２１２０の動作を説明するための図である。 図７は、一実施形態に係る点群復号装置２００のツリー合成部２０２０における処理の一例を示すフローチャートである。 図８は、一実施形態に係る点群復号装置２００のツリー合成部２０２０によるＴｒｉｓｏｕｐ情報の復号処理の一例を示すフローチャートである。 図９は、一実施形態に係る点群符号化装置１００の機能ブロックの一例を示す図である。 図１０は、一実施形態に係る点群復号装置２００のツリー合成部２０２０の機能ブロックの一例を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

（第１実施形態）
以下、図１～図１０を参照して、本発明の第１実施形態に係る点群処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る点群処理システム１０を示す図である。

図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。

点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。

なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。

ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。

（点群復号装置２００）
以下、図２及び図１０を参照して、本実施形態に係る点群復号装置２００について説明する。図２は、本実施形態に係る点群復号装置２００の機能ブロックの一例について示す図である。

図２に示すように、点群復号装置２００は、幾何情報復号部２０１０と、ツリー合成部２０２０と、近似表面合成部２０３０と、幾何情報再構成部２０４０と、逆座標変換部２０５０と、属性情報復号部２０６０と、逆量子化部２０７０と、ＲＡＨＴ部２０８０と、ＬｏＤ算出部２０９０と、逆リフティング部２１００と、逆色変換部２１１０と、アップサンプリング部２１２０と、フレームバッファ２１３０とを有する。

幾何情報復号部２０１０は、点群符号化装置１００から出力されるビットストリームのうち、幾何情報に関するビットストリーム（幾何情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

復号処理は、例えば、コンテキスト適応二値算術復号処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。

ツリー合成部２０２０は、幾何情報復号部２０１０によって復号された制御データ及び後述するツリー内のどのノードに点群が存在するかを示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを入力として、復号対象空間内のどの領域に点が存在するかというツリー情報を生成するように構成されている。

なお、ｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号処理をツリー合成部２０２０内部で行うよう構成されていてもよい。

本処理は、復号対象空間を直方体で区切り、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照して各直方体内に点が存在するかを判断し、点が存在する直方体を複数の直方体に分割し、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照するという処理を再帰的に繰り返すことで、ツリー情報を生成することができる。

ここで、かかるｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号に際して、後述するインター予測を用いてもよい。

本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。「ＱｔＢｔ」を使用するか否かは、制御データとして点群符号化装置１００側から伝送される。

或いは、制御データによってＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用するように指定された場合、ツリー合成部２０２０は、点群符号化装置１００において決定した任意のツリー構成に基づいて各点の座標を復号するように構成されている。

近似表面合成部２０３０は、ツリー合成部２０２０によって生成されたツリー情報を用いて近似表面情報を生成し、かかる近似表面情報に基づいて点群を復号するように構成されている。

近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。

具体的には、近似表面合成部２０３０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成し、点群を復号することができる。「Ｔｒｉｓｏｕｐ」の具体的な処理例については後述する。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。

幾何情報再構成部２０４０は、ツリー合成部２０２０によって生成されたツリー情報及び近似表面合成部２０３０によって生成された近似表面情報を元に、復号対象の点群データの各点の幾何情報（復号処理が仮定している座標系における位置情報）を再構成するように構成されている。

逆座標変換部２０５０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、復号処理が仮定している座標系から、出力点群信号の座標系に変換を行い、位置情報を出力するように構成されている。

アップサンプル部２１２０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、後述する通りアップサンプル処理を行うように構成されている。

フレームバッファ２１３０は、アップサンプル部２１２０でアップサンプルされた点群を入力とし、参照フレームとして保存するように構成されている。保存した参照フレームは、ツリー合成部２０２０において時間的に異なるフレームのインター予測を行う場合に、フレームバッファ２１３０から読み出されて参照フレームとして使用される。

ここで、各フレームに対してどの時刻の参照フレームを用いるかどうかは、例えば、点群符号化装置１００からビットストリームとして伝送されてくる制御データに基づいて決定されてもよい。

なお、ここでは、アップサンプル部２１２０でアップサンプルした後にフレームバッファ２１３０に保存する場合の例を説明したが、この順番は、逆でもよい。

すなわち、幾何情報再構成部２０４０から出力される幾何情報を参照フレームとしてフレームバッファ２１３０へ保存し、その後、ツリー合成部２０２０にてインター予測を行う際に、フレームバッファ２１３０に保存されていた参照フレームをアップサンプル部２１２０でアップサンプルしてからツリー合成部２０２０に入力してもよい。

さらに別の例として、図１０に示すように、アップサンプル部２１２０は、ツリー合成部２０２０の内部に含まれるように構成されていてもよい。以下、図１０に示す構成例について説明する。

ツリー合成部２０２０は、フレームバッファ２１３０から、復号対象の点群とは時刻の異なる既に復号済みの点群を取得し、動き補償部２０２１へ入力する。

動き補償部２０２１は、制御データから復号した動き情報（動きベクトル等）を用いて動き補償を行うように構成されている。動き補償の具体的な方法は、公知の手法を適用できるため、詳細については省略する。

ここで、動き補償部２０２１は、復号済みの点群内の各点にクラス分類処理を行い、クラスごとに異なる動き補償処理を適用するように構成されていてもよい。

例えば、動き補償部２０２１は、点毎に「地面」及び「物体」のどちらかのクラスを割り当て、「物体」と見なされた点のみに動き補償を適用するように構成されていてもよい。

アップサンプル部２０２１は、前記動き補償済みの点群を入力して、後述の様にアップサンプル処理を行うように構成されている。

上述のように、クラス分類に基づいた動き補償処理が行われている場合、アップサンプル部２０２１は、アップサンプル処理についても特定のクラスのみアップサンプル処理を行うように構成されていてもよい。

例えば、アップサンプル部２０２１は、「地面」の点のみに対して、アップサンプリング処理を行う、或いは、「物体」の点のみに対してアップサンプル処理を行うように構成されていてもよい。

上述のクラス分類が、例えば、各点のｚ軸座標（高さ成分）の値を基に行われている場合、アップサンプル部２０２１は、動き補償後の点群の各点のｚ座標を基に、アップサンプル処理を実行するか否かを制御するように構成されていてもよい。

具体的には、ｚ軸座標が、第１閾値以上であり（又は、第１閾値よりも大きく）、且つ、第２閾値以下である（又は、第２閾値よりも小さい）場合にのみ、アップサンプル部２０２１は、アップサンプル処理を行うよう構成されていてもよい。

上述とは逆に、ｚ軸座標が、第１閾値以下である（又は、第１閾値よりも小さい）、又は、第２閾値以上である（又は、第２閾値よりも大きい）場合にのみ、アップサンプル部２０２１は、アップサンプルを行うよう構成されていてもよい。ここで、第２閾値は、第１閾値より大きな値であるとする。

確率推定部２０２２は、アップサンプル後の点群を入力として、ｏｃｃｐａｎｃｙ Ｃｏｄｅの各ビットの値が０である確率、又は、ｏｃｃｐａｎｃｙ Ｃｏｄｅの各ビットの値が１である確率を推定するように構成されている。

占有情報復号部２０２３は、確率推定部２０２２で推定した確率に基づいて、エントロピー復号によってｏｃｃｐａｎｃｙ Ｃｏｄｅを復号するように構成されている。

ツリー構成部２０２４は、上述のｏｃｃｐａｎｃｙ Ｃｏｄｅの値に基づいて、ツリーを構成するように構成されている。

属性情報復号部２０６０は、点群符号化装置１００から出力されるビットストリームのうち、属性情報に関するビットストリーム（属性情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

復号処理は、例えば、コンテキスト適応二値算術復号処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。

また、属性情報復号部２０６０は、復号したシンタックスから、量子化済み残差情報を復号するように構成されている。

逆量子化部２０７０は、属性情報復号部２０６０によって復号された量子化済み残差情報と、属性情報復号部２０６０によって復号された制御データの一つである量子化パラメータとを元に、逆量子化処理を行い、逆量子化済み残差情報を生成するように構成されている。

逆量子化済み残差情報は、復号対象の点群の特徴に応じて、ＲＡＨＴ部２０８０及びＬｏＤ算出部２０９０のいずれかに出力される。いずれに出力されるかは、属性情報復号部２０６０によって復号される制御データによって指定される。

ＲＡＨＴ部２０８０は、逆量子化部２０７０によって生成された逆量子化済み残差情報及び幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換（復号処理においては、逆Ｈａａｒ変換）の一種を用いて、各点の属性情報を復号するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。

ＬｏＤ算出部２０９０は、幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。

ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。

言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。

ＬｏＤの具体的な決定方法としては、例えば、非特許文献１に記載の方法を用いてもよい。

逆リフティング部２１００は、ＬｏＤ算出部２０９０によって生成されたＬｏＤ及び逆量子化部２０７０によって生成された逆量子化済み残差情報を用いて、ＬｏＤで規定した階層構造に基づいて各点の属性情報を復号するように構成されている。逆リフティングの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。

逆色変換部２１１０は、復号対象の属性情報が色情報であり且つ点群符号化装置１００側で色変換が行われていた場合に、ＲＡＨＴ部２０８０又は逆リフティング部２１００から出力される属性情報に逆色変換処理を行うように構成されている。かかる逆色変換処理の実行の有無については、属性情報復号部２０６０によって復号された制御データによって決定される。

点群復号装置２００は、以上の処理により、点群内の各点の属性情報を復号して出力するように構成されている。

（幾何情報復号部２０１０）
以下、図３～図４を用いて幾何情報復号部２０１０で復号される制御データについて説明する。

図３は、幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例である。

第１に、ビットストリームは、ＧＰＳ２０１１を含んでいてもよい。ＧＰＳ２０１１は、ジオメトリパラメータセットとも呼ばれ、幾何情報の復号に関する制御データの集合である。具体例については後述する。各ＧＰＳ２０１１は、複数のＧＰＳ２０１１が存在する場合に個々を識別するためのＧＰＳ ｉｄ情報を少なくとも含む。

第２に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂを含んでいてもよい。ＧＳＨ２０１２Ａ/２０１２Ｂは、ジオメトリスライスヘッダ或いはジオメトリデータユニットヘッダとも呼ばれ、後述するスライスに対応する制御データの集合である。以降では、スライスという呼称を用いて説明するが、スライスをデータユニットと読み替えることもできる。具体例については後述する。ＧＳＨ２０１２Ａ/２０１２Ｂは、各ＧＳＨ２０１２Ａ/２０１２Ｂに対応するＧＰＳ２０１１を指定するためのＧＰＳ ｉｄ情報を少なくとも含む。

第３に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂの次に、スライスデータ２０１３Ａ/２０１３Ｂを含んでいてもよい。スライスデータ２０１３Ａ/２０１３Ｂには、幾何情報を符号化したデータが含まれている。スライスデータ２０１３Ａ/２０１３Ｂの一例としては、後述するｏｃｃｕｐａｎｃｙ ｃｏｄｅが挙げられる。

以上のように、ビットストリームは、各スライスデータ２０１３Ａ/２０１３Ｂに、１つずつＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となる。

上述のように、ＧＳＨ２０１２Ａ/２０１２Ｂにて、どのＧＰＳ２０１１を参照するかをＧＰＳ ｉｄ情報で指定するため、複数のスライスデータ２０１３Ａ/２０１３Ｂに対して共通のＧＰＳ２０１１を用いることができる。

言い換えると、ＧＰＳ２０１１は、スライスごとに必ずしも伝送する必要がない。例えば、図３のように、ＧＳＨ２０１２Ｂ及びスライスデータ２０１３Ｂの直前では、ＧＰＳ２０１１を符号化しないようなビットストリームの構成とすることもできる。

なお、図３の構成は、あくまで一例である。各スライスデータ２０１３Ａ/２０１３Ｂに、ＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となっていれば、ビットストリームの構成要素として、上述以外の要素が追加されてもよい。

例えば、図３に示すように、ビットストリームは、シーケンスパラメータセット（ＳＰＳ）２００１を含んでいてもよい。また、同様に、伝送に際して、図３と異なる構成に整形されてもよい。更に、後述する属性情報復号部２０６０で復号されるビットストリームと合成して単一のビットストリームとして伝送されてもよい。

図４は、ＧＰＳ２０１１のシンタックス構成の一例である。

なお、以下で説明するシンタックス名は、あくまで一例である。以下で説明したシンタックスの機能が同様であれば、シンタックス名は異なっていても差し支えない。

ＧＰＳ２０１１は、各ＧＰＳ２０１１を識別するためのＧＰＳ ｉｄ情報（ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含んでもよい。

なお、図４のＤｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（１）は、１ビットのフラグであることを意味する。

ＧＰＳ２０１１は、ツリー合成部２０２０でインター予測を行うか否かを制御するフラグ（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

例えば、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時はインター予測を行わないと定義し、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時はインター予測を行うと定義してもよい。

なお、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含んでいてもよい。

幾何情報復号部２０２０は、インター予測を行うとき、すなわち、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、追加で以下のシンタックスを復号するように構成されていてもよい。

ＧＰＳ２０１１は、インター予測を行う場合に、アップサンプル部２１２０によるアップサンプリングを適用するか否かを制御するフラグ（ｒｅｆｅｒｅｎｃｅ_ｕｐｓａｍｐｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

例えば、ｒｅｆｅｒｅｎｃｅ_ｕｐｓａｍｐｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時はアップサンプリングを適用しないと定義し、ｒｅｆｅｒｅｎｃｅ_ｕｐｓａｍｐｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時はアップサンプリングを適用すると定義してもよい。

幾何情報復号部２０２０は、アップサンプリングを適用するとき、すなわち、ｒｅｆｅｒｅｎｃｅ_ｕｐｓａｍｐｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、追加で以下のシンタックスを復号するように構成されていても良い。

ＧＰＳ２０１１は、アップサンプリング点数を制御するシンタックス（ｕｐｓａｍｐｌｉｎｇ_ｎｕｍｂｅｒ_ｄｉｖ２）を含んでもよい。当該シンタックスの値を具体的にどのように使うかについては後述する。

ＧＰＳ２０１１は、アップサンプリング点の間隔を制御するシンタックス（ｕｐｓａｍｐｌｉｎｇ_ｉｎｔｅｒｖａｌ）を含んでも良い。当該シンタックスの値を具体的にどのように使うかについては後述する。

ＧＰＳ２０１１は、近似表面合成部２０３０でＴｒｉｓｏｕｐを使用するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

例えば、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時はＴｒｉｓｏｕｐを使用しないと定義し、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時はＴｒｉｓｏｕｐを使用すると定義してもよい。

幾何情報復号部２０２０は、Ｔｒｉｓｏｕｐを使用するとき、すなわち、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、追加で以下のシンタックスを復号するように構成されていてもよい。

なお、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含んでいてもよい。

ＧＰＳ２０１１は、複数レベルでのＴｒｉｓｏｕｐを許可するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇ、第１フラグ）を含んでもよい。

例えば、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時は複数レベルでのＴｒｉｓｏｕｐを許可しない、すなわち、単一のレベルでのＴｒｉｓｏｕｐを行うと定義し、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は複数レベルでのＴｒｉｓｏｕｐを許可すると定義してもよい。

なお、当該シンタックスがＧＰＳ２０１１に含まれない場合、当該シンタックスの値を単一のレベルでのＴｒｉｓｏｕｐを行う場合の値、すなわち、「０」とみなしてよい。

なお、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含まれるよう定義してもよい。この場合、ＳＰＳ２００１にｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇが含まれていない場合、当該シンタックスの値を単一のレベルでのＴｒｉｓｏｕｐを行う場合の値、すなわち、「０」とみなしてよい。

幾何情報復号部２０２０は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、追加で以下のシンタックスを復号するように構成されていても良い。

ＧＰＳ２０１１は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、Ｔｒｉｓｏｕｐノードサイズの最大値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３）を含んでもよい。

当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最大値について、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最大値について、２を底とする対数に変換した後に３を引いた後の値として表現されていてもよい。

ＧＰＳ２０１１は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、Ｔｒｉｓｏｕｐノードサイズの最小値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３）を含んでもよい。

当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最小値について、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最小値について、２を底とする対数に変換した後に３を引いた後の値として表現されていてもよい。

また、当該シンタックスの値は、必ず０以上かつｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３以下となるように制約されていてもよい。

幾何情報復号部２０２０は、複数レベルでのＴｒｉｓｏｕｐを許可しないとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時、追加で以下のシンタックスを復号するように構成されていても良い。

ＧＰＳ２０１１は、複数レベルでのＴｒｉｓｏｕｐを許可しないとき、Ｔｒｉｓｏｕｐノードサイズを規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３）を含んでもよい。

当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズについて、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズについて、２を底とする対数に変換した後に３を引いた後の値として表現されていてもよい。

（アップサンプル部２１２０）
以下、図５～図６を用いてアップサンプル部２１２０でのアップサンプリングについて説明する。

図５は、アップサンプル部２１２０におけるアップサンプリングの一例を示すフローチャートである。

図５に示すように、ステップＳ５０１において、アップサンプル部２１２０は、幾何情報再構成部から出力される幾何情報、すなわち、位置情報を再構成した点群に含まれる全ての点について、アップサンプリングが終了したか否かを判定する。

全ての点の処理を終了した場合は、アップサンプル部２１２０は、ステップＳ５０４において、処理を終了する。一方、全ての点の処理を終了していない場合は、アップサンプル部２１２０は、ステップＳ５０２へ進む。

ステップＳ５０２において、アップサンプル部２１２０は、オフセットベクトルを算出する。

以下、図６Ａに示すｘｙｚ空間上の点Ｐに対してオフセットベクトルを求める場合を例に説明する。ここで、点Ｐの座標は（Ｘ、Ｙ、Ｚ）とし、原点Ｏを始点とし点Ｐを終点とするベクトルをｖ_ｐとする。

オフセットベクトルｖ_ｕは、例えば、ｖ_ｕのＬ２ノルムが１となるように正規化したものとして算出されてもよい。すなわち、アップサンプル部２１２０は、以下の式に基づいて、オフセットベクトルｖ_ｕを算出してもよい。

ｖ_u＝ｖ_ｐ/（Ｘ^２＋Ｙ^２＋Ｚ^２）^1/2
なお、アップサンプル部２１２０は、上述の平方根の計算及び除算については、近似計算を用いて整数演算となるようにしてもよい。また、上述の近似計算の際に、ｖ_ｐの絶対値が小さすぎると整数演算による誤差が大きくなりすぎるため、ｖ_uの代わりに後述するｉ・ｖ_uを求めてもよい。

オフセットベクトルｖ_ｕは、アップサンプリングの対象となる点Ｐについて、原点Ｏを始点として点Ｐを指すベクトルｖ_ｐと同じ方向を指し且つ所定の大きさ（例えば、Ｌ２ノルム）を持つベクトルとして算出されていれば、上述以外の手法で算出されても差し支えない。

言い換えると、点Ｐが原点Ｏを中心とした球上に存在すると考えた場合に、球面に対して法線方向となるようにオフセットベクトルｖ_ｕが算出されていれば、上述以外の手法で算出されても差し支えない。

また、アップサンプル部２１２０は、上述の方向や大きさについて、多少の近似誤差を含む方法でオフセットベクトルｖ_ｕを導出してもよい。

アップサンプル部２１２０は、オフセットベクトルｖ_ｕを算出した後、ステップＳ５０３へ移る。

ステップＳ５０３において、アップサンプル部２１２０は、ステップＳ５０２で算出したオフセットベクトルｖ_ｕに基づいてアップサンプリングを行う。

ここでも、図６Ａの点Ｐのアップサンプリングを行う場合を例に説明する。図６Ｂは、点Ｐのアップサンプリング後の様子の例を示している。

ここで、図６Ｂ中に示すｉは、アップサンプリング間隔を制御するパラメータであり、ＧＰＳ２０１１に含まれるアップサンプリング点の間隔を制御するシンタックス（ｕｐｓａｍｐｌｉｎｇ_ｉｎｔｅｒｖａｌ）として復号した値を用いる。

また、図６Ｂ中に示すＮは、１つの入力点に対してアップサンプリングによって生成する点数を制御するパラメータであり、ＧＰＳ２０１１に含まれるアップサンプリング点数を制御するシンタックス（ｕｐｓａｍｐｌｉｎｇ_ｎｕｍｂｅｒ_ｄｉｖ２）として復号した値を用いる。

アップサンプリングは、例えば、点Ｐの座標をｖ_ｐとしたとき、以下の通り、座標値ｖ_ｓを持つ点を追加することで実現できる。

ｖ_ｓ＝ｖ_ｐ±ｎｉ・ｖ_u（ｎ＝１，２，．．．，Ｎ）
この場合、１つの入力点に対して、２Ｎ点がアップサンプリングによって追加される。

以上のように、アップサンプル部２１２０は、アップサンプリングを行った後、ステップＳ５０１へ戻り、次の点の処理を行う。

（ツリー合成部２０２０）
以下、図７～図８を用いてツリー合成部２０２０の処理について説明する。図７は、ツリー合成部２０２０における処理の一例を示すフローチャートである。なお、以下では「Ｏｃｔｒｅｅ」を使用してツリーを合成する場合の例について説明する。

ステップＳ７０１において、ツリー合成部２０２０は、全てのＤｅｐｔｈの処理が完了したかどうかを確認する。なお、Ｄｅｐｔｈ数は、点群符号化装置１００から点群復号装置２００に伝送するビットストリーム内に制御データとして含まれていてもよい。

ツリー合成部２０２０は、当該Ｄｅｐｔｈのノードサイズを算出する。「Ｏｃｔｒｅｅ」の場合、最初のＤｅｐｔｈのノードサイズは、「２のＤｅｐｔｈ数乗」と定義されてもよい。すなわち、Ｄｅｐｔｈ数をＮとする場合、最初のＤｅｐｔｈのノードサイズは、２のＮ乗と定義されてもよい。

また、２番目以降のＤｅｐｔｈでのノードサイズは、Ｎの数を１つずつ減じていくことで定義されてもよい。すなわち、２番目のＤｅｐｔｈのノードサイズは、「２の（Ｎ－１）乗」として定義され、３番目のＤｅｐｔｈのノードサイズは、「２の（Ｎ－２）乗」として定義され、・・・と定義されてもよい。

或いは、ノードサイズは、常に２のべき乗で定義されるため、単純に指数部分（Ｎ、Ｎ－１、Ｎ－２、等）の値をノードサイズと考えてもよい。以降の説明では、ノードサイズとは、指数部分の値を指すこととする。

全てのＤｅｐｔｈの処理が完了した場合は、ツリー合成部２０２０は、ステップＳ７０９へ進み、全てのＤｅｐｔｈの処理が完了していない場合は、ツリー合成部２０２０は、ステップＳ７０２へ進む。

言い換えると、当該Ｄｅｐｔｈがｎ番目のＤｅｐｔｈの時、（Ｎ－ｎ）＝０の場合は、ツリー合成部２０２０は、ステップＳ７０９へ進み、（Ｎ－ｎ）＞０の場合は、ツリー合成部２０２０は、ステップＳ７０２へ進む。

ここで、Ｔｒｉｓｏｕｐを使用するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇ）がＴｒｉｓｏｕｐを使用することを示している場合、すなわち、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は、ツリー合成部２０２０は、処理するＤｅｐｔｈ数を、Ｔｒｉｓｏｕｐノードサイズの最小値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３）又はＴｒｉｓｏｕｐノードサイズを規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３）の値に基づいて変化させてもよい。かかる場合、例えば、以下のように定義してもよい。
処理Ｄｅｐｔｈ数＝全Ｄｅｐｔｈ数―（最小の）Ｔｒｉｓｏｕｐノードサイズ
ここで、最小のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３＋３）で定義できる。同様に、Ｔｒｉｓｏｕｐノードサイズについては、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３＋３）で定義できる。

この場合、全ての処理Ｄｅｐｔｈ数の処理が完了した場合は、ツリー合成部２０２０は、ステップＳ７０９へ進み、そうでない場合は、ツリー合成部２０２０は、ステップＳ７０２へ進む。

言い換えると、（処理Ｄｅｐｔｈ数―ｎ）＝０の場合は、ツリー合成部２０２０は、ステップＳ７０９へ進み、（処理Ｄｅｐｔｈ数－ｎ）＞０の場合は、ツリー合成部２０２０は、ステップＳ７０２へ進む。

また、ツリー合成部２０２０は、ステップＳ７０９へ進む際のノードサイズ（Ｎ―処理Ｄｅｐｔｈ数）を持つ全てのノードには、Ｔｒｉｓｏｕｐが適用されると判定してもよい。

ステップＳ７０２において、ツリー合成部２０２０は、当該Ｄｅｐｔｈにて後述するＴｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇを復号する必要があるか否かを判定する。

例えば、「複数レベルでのＴｒｉｓｏｕｐが許可（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」）」で、且つ、「当該Ｄｅｐｔｈのノードサイズ（Ｎ－ｎ）が最大のＴｒｉｓｏｕｐノードサイズ以下」の場合に、ツリー合成部２０２０は、「Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要である」と判定してもよい。

また、ツリー合成部２０２０は、上述の条件が満たされない場合、「Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要ない」と判定してもよい。

ここで、最大のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３＋３）で定義できる。

上述の判定が完了したら、ツリー合成部２０２０は、ステップＳ７０３へ移る。

ステップＳ７０３において、ツリー合成部２０２０は、当該Ｄｅｐｔｈに含まれる全てのノードの処理が完了したかどうかを判定する。

当該Ｄｅｐｔｈの全てのノードの処理が完了したと判定した場合、ツリー合成部２０２０は、ステップＳ７０１へ移り、次のＤｅｐｔｈの処理を行う。

一方、当該Ｄｅｐｔｈの全てのノードの処理が完了していない場合、ツリー合成部２０２０は、ステップＳ７０４へ移る。

ステップＳ７０４において、ツリー合成部２０２０は、ステップＳ７０２で判定したＴｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号の要否について確認する。

Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要であると判定されている場合は、ツリー合成部２０２０は、ステップＳ７０５へ進み、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要でないと判定されている場合は、ツリー合成部２０２０は、ステップＳ７０８へ移る。

ステップＳ７０５において、ツリー合成部２０２０は、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇを復号する。

Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇは、対象ノードにＴｒｉｓｏｕｐを適用するか否かを示す１ビットのフラグ（第２フラグ）である。例えば、かかるフラグの値が「１」の時に対象ノードにＴｒｉｓｏｕｐを適用すると定義し、かかるフラグの値が「０」の時に対象ノードにＴｒｉｓｏｕｐを適用しないと定義してもよい。

ツリー合成部２０２０は、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇを復号した後、ステップＳ７０６へ移る。

ステップＳ７０６において、ツリー合成部２０２０は、ステップＳ７０５で復号したＴｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの値を確認する。

対象ノードにＴｒｉｓｏｕｐを適用する場合、すなわち、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの値が「１」の場合は、ツリー合成部２０２０は、ステップＳ７０７へ移る。

対象ノードにＴｒｉｓｏｕｐを適用しない場合、すなわち、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの値が「０」の場合は、ツリー合成部２０２０は、ステップＳ７０８へ移る。

ステップＳ７０７において、ツリー合成部２０２０は、対象ノードを、Ｔｒｉｓｏｕｐを適用するノード、すなわち、Ｔｒｉｓｏｕｐノードとして記憶する。かかる対象ノードに対しては、これ以上、「Ｏｃｔｒｅｅ」によるノードの分割を適用しないこととする。その後、ツリー合成部２０２０は、ステップＳ７０３に進み、次のノードの処理へ移る。

ステップＳ７０８において、ツリー合成部２０２０は、ｏｃｃｐａｎｃｙ ｃｏｄｅと呼ばれる情報を復号する。

ｏｃｃｐａｎｃｙ ｃｏｄｅは、「Ｏｃｔｒｅｅ」の場合は、対象ノードをｘ、ｙ、ｚ軸方向にそれぞれ半分に分割して、８つのノード（子ノードと呼ぶ）に分割した際に、それぞれの子ノード内に復号対象の点が含まれているか否かを示す情報である。

例えば、ｏｃｃｐａｎｃｙ ｃｏｄｅは、各子ノードに対して１ビットの情報を割り当て、かかる１ビットの情報が「１」の場合は、かかる子ノード内に復号対象の点が含まれると定義され、かかる１ビットの情報が「０」の場合は、かかる子ノード内に復号対象の点が含まれないと定義されてもよい。

ツリー合成部２０２０は、かかるｏｃｃｐａｎｃｙ ｃｏｄｅを復号する際に、各子ノードに復号対象の点が存在する確率を予め推定し、その確率に基づいて各子ノードに対応するビットをエントロピー復号してもよい。

同様に、点群符号化装置１００においては、エントロピー符号化してもよい。更に、かかる確率の推定に、インター予測を用いてもよい。インター予測の具体的な方法としては、例えば、非特許文献１に記載の方法を適用できる。更に、インター予測を行う際の参照点群に、アップサンプル部２１２０でアップサンプルした点群を用いてもよい。

ツリー合成部２０２０は、ｏｃｃｐａｎｃｙ ｃｏｄｅを復号した後、ステップＳ７０３へ進み、次のノードの処理へ移る。

ステップＳ７０９において、ツリー合成部２０２０は、Ｔｒｉｓｏｕｐ情報の復号を行う。ツリー合成部２０２０は、ステップＳ７０９の処理については、Ｔｒｉｓｏｕｐを使用する場合、すなわち、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時のみ実行する。すなわち、Ｔｒｉｓｏｕｐを使用しない場合は、ツリー合成部２０２０は、ステップＳ７１０へ進み、処理を終了する。

図８は、Ｔｒｉｓｏｕｐ情報の復号処理の一例を示すフローチャートである。

図８に示すように、ステップＳ８０１において、ツリー合成部２０２０は、復号点のサンプリング間隔を制御するシンタックスを復号する。

ステップＳ８０２において、ツリー合成部２０２０は、全Ｔｒｉｓｏｕｐ階層の処理が完了したかどうかを判定する。ここで、全Ｔｒｉｓｏｕｐ階層の数は、以下の通り定義できる。

複数レベルでのＴｒｉｓｏｕｐを許可するとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は、全Ｔｒｉｓｏｕｐ階層数は、（最大Ｔｒｉｓｏｕｐノードサイズ－最小Ｔｒｉｓｏｕｐノードサイズ＋１）で定義できる。

すなわち、かかる場合、全Ｔｒｉｓｏｕｐ階層数は、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３―ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３＋１）で定義できる。

複数レベルでのＴｒｉｓｏｕｐを許可しないとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時は、全Ｔｒｉｓｏｕｐ階層数は、１である。

全てのＴｒｉｓｏｕｐ階層の処理が完了した場合は、ツリー合成部２０２０は、ステップＳ８０７へ進み、処理を終了する。全てのＴｒｉｓｏｕｐ階層の処理が完了していない場合は、ツリー合成部２０２０は、ステップＳ８０３へ移る。

ステップＳ８０３において、ツリー合成部２０２０は、当該Ｔｒｉｓｏｕｐ階層におけるユニークセグメント数を復号する。ユニークセグメント数は、当該Ｔｒｉｓｏｕｐ階層に属するＴｒｉｓｏｕｐノードを構成する辺の数である。

ステップＳ８０３では、ツリー合成部２０２０は、上述のように、ユニークセグメント数を復号する代わりに、当該Ｔｒｉｓｏｕｐ階層にユニークセグメントが（１つ以上）存在するか否かを示すフラグを復号してもよい。

更に、複数レベルでのＴｒｉｓｏｕｐを許可しないとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時は、当該Ｔｒｉｓｏｕｐ階層にユニークセグメントが存在することは自明であるため、ツリー合成部２０２０は、当該Ｔｒｉｓｏｕｐ階層にユニークセグメントが（１つ以上）存在するか否かを示すフラグの復号を省略してもよい。

ツリー合成部２０２０は、ユニークセグメント数を復号した後、ステップＳ８０４へ移る。

ステップＳ８０４において、ツリー合成部２０２０は、当該Ｔｒｉｓｏｕｐ階層に属するユニークセグメント数を確認する。

ユニークセグメント数が０の場合、すなわち、当該Ｔｒｉｓｏｕｐ階層にはＴｒｉｓｏｕｐノードが１つも含まれない場合は、ツリー合成部２０２０は、ステップＳ８０２へ進み、次のＴｒｉｓｏｕｐ階層の処理へ移る。

ユニークセグメント数が０より大きい場合は、ツリー合成部２０２０は、ステップＳ８０５へ移る。

なお、ステップＳ８０３で当該Ｔｒｉｓｏｕｐ階層にユニークセグメントが（１つ以上）存在するか否かを示すフラグを復号した場合、ツリー合成部２０２０は、当該Ｔｒｉｓｏｕｐ階層にユニークセグメントが存在する場合は、当該Ｔｒｉｓｏｕｐ階層におけるユニークセグメント数を復号した後、ステップＳ８０５へ進み、当該Ｔｒｉｓｏｕｐ階層にユニークセグメントが存在しない場合はステップＳ８０２へ進む。

ステップＳ８０５において、ツリー合成部２０２０は、各ユニークセグメントに対してＴｒｉｓｏｕｐ処理に用いる頂点が含まれるか否かを復号する。

なお、各ユニークセグメントに対して存在できる頂点は、１点のみに制限してもよい。この場合、頂点が存在するユニークセグメント数が＝頂点数と解釈できる。

ツリー合成部２０２０は、当該Ｔｒｉｓｏｕｐ階層の全てのユニークセグメントについて頂点の有無を復号した後、ステップＳ８０６へ移る。

ステップＳ８０６において、ツリー合成部２０２０は、ステップＳ８０５において頂点が存在すると判定された各ユニークセグメントに対して、各ユニークセグメント上のどこに頂点が存在するのかという位置情報を復号する。

位置情報は、例えば、当該Ｔｒｉｓｏｕｐ階層におけるＴｒｉｓｏｕｐノードサイズがＬ（２のＬ乗）の場合、Ｌビットの等長符号で符号化されていてもよい。

ツリー合成部２０２０は、当該Ｔｒｉｓｏｕｐ階層において、頂点が存在する全てのユニークセグメントに対して頂点位置を復号した後、ステップＳ８０２へ移り、次のＴｒｉｓｏｕｐ階層の処理へ進む。

（点群符号化装置１００）
以下、図９を参照して、本実施形態に係る点群符号化装置１００について説明する。図９は、本実施形態に係る点群符号化装置１００の機能ブロックの一例について示す図である。

図９に示すように、点群符号化装置１００は、座標変換部１０１０と、幾何情報量子化部１０２０と、ツリー解析部１０３０と、近似表面解析部１０４０と、幾何情報符号化部１０５０と、幾何情報再構成部１０６０と、色変換部１０７０と、属性転移部１０８０と、ＲＡＨＴ部１０９０と、ＬｏＤ算出部１１００と、リフティング部１１１０と、属性情報量子化部１１２０と、属性情報符号化部１１３０と、アップサンプル部１１４０と、フレームバッファ１１５０とを有する。

座標変換部１０１０は、入力点群の３次元座標系から、任意の異なる座標系への変換処理を行うよう構成されている。座標変換は、例えば、入力点群を回転することにより、入力点群のｘ、ｙ、ｚ座標を任意のs、ｔ、ｕ座標に変換してもよい。また、変換のバリエーションの１つとして、入力点群の座標系をそのまま使用してもよい。

幾何情報量子化部１０２０は、座標変換後の入力点群の位置情報の量子化及び座標が重複する点の除去を行うように構成されている。なお、量子化ステップサイズが１の場合は、入力点群の位置情報と量子化後の位置情報とが一致する。すなわち、量子化ステップサイズが１の場合は、量子化を行わない場合と等価になる。

ツリー解析部１０３０は、量子化後の点群の位置情報を入力として、後述のツリー構造に基づいて、符号化対象空間のどのノードに点が存在するかについて示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。

ツリー解析部１０３０は、本処理において、符号化対象空間を再帰的に直方体で区切ることにより、ツリー構造を生成するように構成されている。

ここで、ある直方体内に点が存在する場合、かかる直方体を複数の直方体に分割する処理を、直方体が所定のサイズになるまで再帰的に実行することでツリー構造を生成することができる。なお、かかる各直方体をノードと呼ぶ。また、ノードを分割して生成される各直方体を子ノードと呼び、子ノード内に点が含まれるか否かについて０又は１で表現したものがｏｃｃｕｐａｎｃｙ ｃｏｄｅである。

以上のように、ツリー解析部１０３０は、所定のサイズになるまでノードを再帰的に分割しながら、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。

本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。

ここで、「ＱｔＢｔ」を使用するか否かについては、制御データとして点群復号装置２００に伝送される。

或いは、任意のツリー構成を用いるＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用するように指定されてもよい。かかる場合、ツリー解析部１０３０が、ツリー構造を決定し、決定されたツリー構造は、制御データとして点群復号装置２００へ伝送される。

例えば、ツリー構造の制御データは、図７及び図8で説明した手順で復号できるよう構成されていてもよい。

近似表面解析部１０４０は、ツリー解析部１０３０によって生成されたツリー情報を用いて、近似表面情報を生成するように構成されている。

近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。
具体的には、近似表面解析部１０４０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成するように構成されていてもよい。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。

幾何情報符号化部１０５０は、ツリー解析部１０３０によって生成されたｏｃｃｕｐａｎｃｙ ｃｏｄｅ及び近似表面解析部１０４０によって生成された近似表面情報等のシンタックスを符号化してビットストリーム（幾何情報ビットストリーム）を生成するように構成されている。ここで、ビットストリームには、例えば、図４で説明したシンタックスを含まれていてもよい。

符号化処理は、例えば、コンテキスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。

幾何情報再構成部１０６０は、ツリー解析部１０３０によって生成されたツリー情報及び近似表面解析部１０４０によって生成された近似表面情報に基づいて、符号化対象の点群データの各点の幾何情報（符号化処理が仮定している座標系、すなわち、座標変換部１０１０における座標変換後の位置情報）を再構成するように構成されている。

アップサンプル部１１４０は、幾何情報再構成部１０６０によって再構成された幾何情報を入力として、例えば、図５及び図６で説明したアップサンプリングを行うように構成されている。

フレームバッファ１１５０は、アップサンプル部１１４０でアップサンプリングされた点群を入力とし、参照フレームとして保存するように構成されている。

保存された参照フレームは、ツリー解析部１０３０において時間的に異なるフレームのインター予測を行う場合に、フレームバッファ１１５０から読み出されて参照フレームとして使用される。

ここで、各フレームに対してどの時刻の参照フレームを用いるかどうかが、例えば、符号化効率を表すコスト関数の値に基づいて決定され、使用する参照フレームの情報が制御データとして点群復号装置２００へ伝送されてもよい。

なお、ここでは、アップサンプル部１１４０でアップサンプリングした後にフレームバッファ１１５０に保存する場合の例を説明したが、この順番は逆でもよい。

すなわち、幾何情報再構成部１０６０から出力される幾何情報が参照フレームとしてフレームバッファ１１５０へ保存され、その後、ツリー解析部１０３０にてインター予測を行う際に、フレームバッファ１１５０に保存されていた参照フレームがアップサンプル部１１４０でアップサンプリングされてからツリー解析部１０３０に入力されてもよい。

さらに別の例として、アップサンプル部１１４０は、ツリー解析部１０３０内部に含まれるよう構成されていてもよい。

色変換部１０７０は、入力の属性情報が色情報であった場合に、色変換を行うように構成されている。色変換は、必ずしも実行する必要は無く、色変換処理の実行の有無については、制御データの一部として符号化され、点群復号装置２００へ伝送される。

属性転移部１０８０は、入力点群の位置情報、幾何情報再構成部１０６０における再構成後の点群の位置情報及び色変換部１０７０での色変化後の属性情報に基づいて、属性情報の歪みが最小となるように属性値を補正するように構成されている。具体的な補正方法は、例えば、非特許文献２に記載の方法を適用できる。

ＲＡＨＴ部１０９０は、属性転移部１０８０による転移後の属性情報及び幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換の一種を用いて、各点の残差情報を生成するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、非特許文献２に記載の方法を用いることができる。

ＬｏＤ算出部１１００は、幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。

ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。

言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。

ＬｏＤの具体的な決定方法としては、例えば、非特許文献２に記載の方法を用いてもよい。

リフティング部１１１０は、ＬｏＤ算出部１１００によって生成されたＬｏＤ及び属性転移部１０８０での属性転移後の属性情報を用いて、リフティング処理により残差情報を生成するように構成されている。

リフティングの具体的な処理としては、例えば、非特許文献２に記載の方法を用いてもよい。

属性情報量子化部１１２０は、ＲＡＨＴ部１０９０又はリフティング部１１１０から出力される残差情報を量子化するように構成されている。ここで、量子化ステップサイズが１の場合は、量子化を行わない場合と等価である。

属性情報符号化部１１３０は、属性情報量子化部１１２０から出力される量子化後の残差情報等をシンタックスとして符号化処理を行い、属性情報に関するビットストリーム（属性情報ビットストリーム）を生成するように構成されている。

符号化処理は、例えば、コンテキスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。

点群符号化装置１００は、以上の処理により、点群内の各点の位置情報及び属性情報を入力として符号化処理を行い、幾何情報ビットストリーム及び属性情報ビットストリームを出力するように構成されている。

また、上述の点群符号化装置１００及び点群復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

１０…点群処理システム
１００…点群符号化装置
１０１０…座標変換部
１０２０…幾何情報量子化部
１０３０…ツリー解析部
１０４０…近似表面解析部
１０５０…幾何情報符号化部
１０６０…幾何情報再構成部
１０７０…色変換部
１０８０…属性転移部
１０９０…ＲＡＨＴ部
１１００…ＬｏＤ算出部
１１１０…リフティング部
１１２０…属性情報量子化部
１１３０…属性情報符号化部
１１４０…アップサンプル部
１１５０…フレームバッファ
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部
２１２０…アップサンプリング部
２１３０…フレームバッファ

Claims (12)

1. 点群復号装置であって、
   点群の位置情報を再構成するように構成されている幾何情報再構成部と、
   前記幾何情報再構成部で再構成された点群をアップサンプリングするように構成されているアップサンプル部と、
   前記アップサンプリングされた点群を参照してインター予測を行うように構成されているツリー合成部と、を備え、
   前記アップサンプル部は、前記再構成された点群における各点の座標からオフセットベクトルを算出し、前記オフセットベクトルを用いてアップサンプリングを行うように構成されていることを特徴とする点群復号装置。
2. 前記アップサンプル部は、座標空間の原点を始点として前記再構成された点群における各点の座標を指すベクトルと同じ方向を指し且つ所定の大きさを持つベクトルとして前記オフセットベクトルを算出するように構成されていることを特徴とする請求項１に記載の点群復号装置。
3. 前記所定の大きさは、「Ｌ２ノルムが１である」と定義されていることを特徴とする請求項２に記載の点群復号装置。
4. 前記アップサンプル部は、前記オフセットベクトルと、アップサンプリング間隔を制御するパラメータと、前記アップサンプリングによって生成する点数を制御するパラメータに基づいて、アップサンプル点を算出するように構成されていることを特徴とする請求項１～３のいずれか１項に記載の点群復号装置。
5. 前記アップサンプリング間隔を制御するパラメータ及び前記アップサンプリングによって生成する点数を制御するパラメータを、それぞれ制御データとしてビットストリームから復号するように構成されている幾何情報復号部を備えることを特徴とする請求項４に記載の点群復号装置。
6. 点群復号装置であって、
   複数レベルでのＴｒｉｓｏｕｐを許可するか否かを制御する第１フラグを復号するように構成されている幾何情報復号部を備えることを特徴とする点群復号装置。
7. 前記幾何情報復号部は、前記第１フラグの値が前記複数レベルでのＴｒｉｓｏｕｐを許可することを示す場合、最大Ｔｒｉｓｏｕｐノードサイズ及び最小Ｔｒｉｓｏｕｐノードサイズを復号するように構成されていることを特徴とする請求項６に記載の点群復号装置。
8. 前記第１フラグの値が前記複数レベルでのＴｒｉｓｏｕｐを許可することを示す場合、ノード毎に対象ノードにＴｒｉｓｏｕｐを適用するか否かを示す第２フラグを復号するように構成されているツリー合成部を備えることを特徴とする請求項６又は７に記載の点群復号装置。
9. 前記ツリー合成部は、前記第１フラグの値が前記複数レベルでのＴｒｉｓｏｕｐを許可することを示す場合、Ｄｅｐｔｈごとに前記第２フラグの復号の要否を判定し、前記第２フラグの復号が必要であると判定されたＤｅｐｔｈに属するノードのみ、ノードごとに前記第２フラグを復号するように構成されていることを特徴とする請求項８に記載の点群復号装置。
10. 前記ツリー合成部は、前記第１フラグの値が前記複数レベルでのＴｒｉｓｏｕｐを許可することを示す場合で、且つ、前記Ｄｅｐｔｈにおけるノードサイズが最大Ｔｒｉｓｏｕｐノードサイズ以下で且つ最小Ｔｒｉｓｏｕｐノードサイズより大きい場合に、前記第２フラグを復号する必要があると判定し、前記第２フラグを復号する必要があると判定されたＤｅｐｔｈに属するノードのみ、ノード毎に前記第２フラグを復号するように構成されていることを特徴とする請求項８に記載の点群復号装置。
11. 点群復号方法であって、
    点群の位置情報を再構成するように構成されている幾何情報再構成部と、
    前記幾何情報再構成部で再構成された点群をアップサンプリングする工程Ａと、
    前記アップサンプリングされた点群を参照してインター予測を行う工程Ｂと、を備え、
    前記工程Ａにおいて、前記再構成された点群における各点の座標からオフセットベクトルを算出し、前記オフセットベクトルを用いてアップサンプリングを行うことを特徴とする点群復号方法。
12. コンピュータを、点群復号装置として機能させるプログラムであって、
    前記点群復号装置は、
    点群の位置情報を再構成するように構成されている幾何情報再構成部と、
    前記幾何情報再構成部で再構成された点群をアップサンプリングするように構成されているアップサンプル部と、
    前記アップサンプリングされた点群を参照してインター予測を行うように構成されているツリー合成部と、を備え、
    前記アップサンプル部は、前記再構成された点群における各点の座標からオフセットベクトルを算出し、前記オフセットベクトルを用いてアップサンプリングを行うように構成されていることを特徴とするプログラム。

Images