JP2021197703A - 点群復号装置、点群復号方法及びプログラム - Google Patents

Abstract

【課題】属性情報の復号に際してソート処理が実行されなかった場合も、属性情報の復号処理を行う順序を一意に決定することで、復号した位置情報と属性情報とを一意に対応付ける点群復号装置、点群復号方法及びプログラムを提供する。【解決手段】点群復号装置２００は、復号対象の点群データの各点について位置情報を復号し、位置情報の復号順に昇順で点群データの各点にインデックスを付与し、インデックスを一次元の配列に格納するように構成されているツリー合成部２０２０を備える。【選択図】図２

Description

本発明は、点群復号装置、点群復号方法及びプログラムに関する。

非特許文献１には、点群データの各点の位置情報を復号した後、点群データの各点の属性情報の復号に先立って、かかる位置情報を基に点群データの各点をソートする技術が開示されている。

Ｔｅｘｔ ｏｆ ＩＳＯ/ＩＥＣ ２３０９０-９ ＤＩＳ Ｇｅｏｍｅｔｒｙ-ｂａｓｅｄ ＰＣＣ、ＩＳＯ/ＩＥＣ/ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１９０８８ ［Ｇ-ＰＣＣ］［Ｎｅｗ Ｐｒｏｐｏｓａｌ］ Ｐｒｅｄｉｃｔｉｖｅ Ｇｅｏｍｅｔｒｙ Ｃｏｄｉｎｇ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ ｍ５１０１２

しかしながら、従来技術では、位置情報を基に点群データの各点をソートする場合、全ての点群の点について位置情報の復号が完了しないと、属性情報の復号が開始できないという問題点があった。

また、従来技術では、ソート処理を省略した場合、属性情報の復号処理における点群の処理順序が規定されていないという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、属性情報の復号に際してソート処理が実行されなかった場合も、属性情報の復号処理を行う順序を一意に決定することで、復号した位置情報と属性情報とを一意に対応付けることができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、点群復号装置であって、復号対象の点群データの各点について位置情報を復号し、前記位置情報の復号順に昇順で前記点群データの各点にインデックスを付与し、前記インデックスを一次元の配列に格納するように構成されているツリー合成部を備えることを要旨とする。

本発明の第２の特徴は、点群復号装置であって、ノードの８つの子ノードに対応するＭａｓｋ_ｐｌａｎａｒを生成するように構成されているツリー合成部を備え、前記ツリー
合成部は、前記ノードが４分木分割又は２分木分割される場合、分割されなかった軸方向の原点に近い方の平面に属する子ノードに対応する前記Ｍａｓｋ_ｐｌａｎａｒの値を「
０」に設定し、分割されなかった軸方向の原点に遠い方の平面に属する子ノードに対応する前記Ｍａｓｋ_ｐｌａｎａｒの値を「１」に設定するように構成されていることを要旨
とする。

本発明の第３の特徴は、点群復号装置であって、ノードの軸方向ごとにＰｌａｎａｒ ｍｏｄｅの適用可否を示すフラグを生成するように構成されているツリー合成部を備え、
前記ツリー合成部は、前記ノードが４分木又は２分木分割される場合、分割が発生しない軸方向に対応する前記Ｐｌａｎａｒ ｍｏｄｅの適用可否を示すフラグの値を、前記Ｐｌａｎａｒ ｍｏｄｅ適用不可を示す値に設定するように構成されていることを要旨とする。

本発明の第４の特徴は、点群復号方法であって、復号対象の点群データの各点について位置情報を復号する工程と、前記位置情報の復号順に昇順で前記点群データの各点にインデックスを付与する工程と、前記インデックスを一次元の配列に格納する工程とを有することを要旨とする。

本発明の第５の特徴は、点群復号装置で用いるプログラムであって、コンピュータに、復号対象の点群データの各点について位置情報を復号する工程と、前記位置情報の復号順に昇順で前記点群データの各点にインデックスを付与する工程と、前記インデックスを一次元の配列に格納する工程とを実行させることを要旨とする。

本発明によれば、属性情報の復号に際してソート処理が実行されなかった場合も、属性情報の復号処理を行う順序を一意に決定することで、復号した位置情報と属性情報とを一意に対応付けることができる点群復号装置、点群復号方法及びプログラムを提供することができる。

一実施形態に係る点群処理システム１０の構成の一例を示す図である。 一実施形態に係る点群復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る点群復号装置２００の幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例である。 一実施形態に係るＧＰＳ２０１１のシンタックス構成の一例である。 一実施形態に係る点群復号装置２００のツリー合成部２０２０の処理の一例を示すフローチャートである。 図５のステップＳ５０６におけるノード情報復号処理の一例を示すフローチャートである。 図５のステップＳ５０６におけるノード情報復号処理の一例を示すフローチャートである。 図６のステップＳ６０１におけるＭａｓｋ_ｐｌａｎａｒの設定方法の一例を示す図である。 一実施形態に係る点群復号装置２００の属性情報復号部２０６０で受信する符号化データ（ビットストリーム）の構成の一例である。 一実施形態に係るＡＰＳ２０６１のシンタックス構成の一例である。 一実施形態に係る点群復号装置２００のＬｏＤ算出部２０９０の処理手順の一例を説明するフローチャートである。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

（第１実施形態）
以下、図１〜図１１を参照して、本発明の第１実施形態に係る点群処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る点群処理システム１０を示す図である。

図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。

点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。

なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。

ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。

（点群復号装置２００）
以下、図２を参照して、本実施形態に係る点群復号装置２００について説明する。図２は、本実施形態に係る点群復号装置２００の機能ブロックの一例について示す図である。

図２に示すように、点群復号装置２００は、幾何情報復号部２０１０と、ツリー合成部２０２０と、近似表面合成部２０３０と、幾何情報再構成部２０４０と、逆座標変換部２０５０と、属性情報復号部２０６０と、逆量子化部２０７０と、ＲＡＨＴ部２０８０と、ＬｏＤ算出部２０９０と、逆リフティング部２１００と、逆色変換部２１１０とを有する。

幾何情報復号部２０１０は、点群符号化装置１００から出力されるビットストリームのうち、幾何情報に関するビットストリーム（幾何情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

復号処理は、例えば、コンテキスト適応二値算術復号処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。

ツリー合成部２０２０は、幾何情報復号部２０１０によって復号された制御データ及び後述するツリー内のどのノードに点群が存在するかを示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを入力として、復号対象空間内のどの領域に点が存在するかというツリー情報を生成するように構成されている。

本処理は、復号対象空間を直方体で区切り、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照して各直方体内に点が存在するかを判断し、点が存在する直方体を複数の直方体に分割し、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照するという処理を再帰的に繰り返すことで、ツリー情報を生成することができる。

本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。「ＱｔＢｔ」を使用するか否かは、制御データとして点群符号化装置１００側から伝送される。

或いは、制御データによって後述するＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用するように指定された場合、ツリー合成部２０２０は、点群符号化装置１００において決定した任意のツリー構成に基づいて各点の座標を復号するように構成されている。

近似表面合成部２０３０は、ツリー情報合成部２０２０によって生成されたツリー情報を用いて、近似表面情報を生成するように構成されている。

近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。

具体的には、近似表面合成部２０３０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成することができる。「Ｔｒｉｓｏｕｐ」の具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。

幾何情報再構成部２０４０は、ツリー情報合成部２０２０によって生成されたツリー情報及び近似表面合成部２０３０によって生成された近似表面情報を元に、復号対象の点群データの各点の幾何情報（復号処理が仮定している座標系における位置情報）を再構成するように構成されている。

逆座標変換部２０５０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、復号処理が仮定している座標系から、出力点群信号の座標系に変換を行い、位置情報を出力するように構成されている。

属性情報復号部２０６０は、点群符号化装置１００から出力されるビットストリームのうち、属性情報に関するビットストリーム（属性情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

復号処理は、例えば、コンテキスト適応二値算術復号処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。

また、属性情報復号部２０６０は、復号したシンタックスから、量子化済み残差情報を復号するように構成されている。

逆量子化部２０７０は、属性情報復号部２０６０によって復号された量子化済み残差情報と、属性情報復号部２０６０によって復号された制御データの一つである量子化パラメータとを元に、逆量子化処理を行い、逆量子化済み残差情報を生成するように構成されている。

逆量子化済み残差情報は、復号対象の点群の特徴に応じて、ＲＡＨＴ部２０８０及びＬｏＤ算出部２０９０のいずれかに出力される。いずれに出力されるかは、属性情報復号部２０６０によって復号される制御データによって指定される。

ＲＡＨＴ部２０８０は、逆量子化済み残差情報によって生成された逆量子化済み残差情報及び幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換（復号処理においては、逆Ｈａａｒ変換）の一種を用いて、各点の属
性情報を復号するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。

ＬｏＤ算出部２０９０は、幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。

ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。

言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。

ＬｏＤの具体的な決定方法としては、例えば、非特許文献１に記載の方法を用いてもよい。

逆リフティング部２１００は、ＬｏＤ算出部２０９０によって生成されたＬｏＤ及び逆量子化済み残差情報によって生成された逆量子化済み残差情報を用いて、ＬｏＤで規定した階層構造に基づいて各点の属性情報を復号するように構成されている。逆リフティングの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。

逆色変換部２１１０は、復号対象の属性情報が色情報であり且つ点群符号化装置１００側で色変換が行われていた場合に、ＲＡＨＴ部２０８０又は逆リフティング部２１００から出力される属性情報に逆色変換処理を行うように構成されている。かかる逆色変換処理の実行有無については、属性情報復号部２０６０によって復号された制御データによって決定される。

点群復号装置２００は、以上の処理により、点群内の各点の属性情報を復号して出力するように構成されている。

（幾何情報復号部２０１０）
以下、図３〜図４を用いて幾何情報復号部２０１０で復号される制御データについて説明する。

図３は、幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例である。

第１に、ビットストリームは、ＧＰＳ２０１１を含んでいてもよい。ＧＰＳ２０１１は、ジオメトリパラメータセットとも呼ばれ、幾何情報の復号に関する制御データの集合である。具体例については後述する。各ＧＰＳ２０１１は、複数のＧＰＳ２０１１が存在する場合に個々を識別するためのＧＰＳ ｉｄ情報を少なくとも含む。

第２に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂを含んでいてもよい。Ｇ
ＳＨ２０１２Ａ/２０１２Ｂは、ジオメトリスライスヘッダ或いはジオメトリデータユニ
ットヘッダとも呼ばれ、後述するスライスに対応する制御データの集合である。以降では、スライスという呼称を用いて説明するが、スライスをデータユニットと読み替えることもできる。具体例については後述する。ＧＳＨ２０１２Ａ/２０１２Ｂは、各ＧＳＨ２０
１２Ａ/２０１２Ｂに対応するＧＰＳ２０１１を指定するためのＧＰＳ ｉｄ情報を少な
くとも含む。

第３に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂの次に、スライスデータ
２０１３Ａ/２０１３Ｂを含んでいてもよい。スライスデータ２０１３Ａ/２０１３Ｂには、幾何情報を符号化したデータが含まれている。スライスデータ２０１３Ａ/２０１３Ｂ
の一例としては、後述するｏｃｃｕｐａｎｃｙ ｃｏｄｅが挙げられる。

以上のように、ビットストリームは、各スライスデータ２０１３Ａ/２０１３Ｂに、１
つずつＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となる。

上述のように、ＧＳＨ２０１２Ａ/２０１２Ｂにて、どのＧＰＳ２０１１を参照するか
をＧＰＳ ｉｄ情報で指定するため、複数のスライスデータ２０１３Ａ/２０１３Ｂに対
して共通のＧＰＳ２０１１を用いることができる。

言い換えると、ＧＰＳ２０１１は、スライスごとに必ずしも伝送する必要がない。例えば、図３のように、ＧＳＨ２０１２Ｂ及びスライスデータ２０１３Ｂの直前では、ＧＰＳ２０１１を符号化しないようなビットストリームの構成とすることもできる。

なお、図３の構成は、あくまで一例である。各スライスデータ２０１３Ａ/２０１３Ｂ
に、ＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となっていれば、
ビットストリームの構成要素として、上述以外の要素が追加されてもよい。例えば、ビットストリームは、シーケンスパラメータセット（ＳＰＳ）を含んでいてもよい。また、同様に、伝送に際して、図３と異なる構成に整形されてもよい。更に、後述する属性情報復号部２０６０で復号されるビットストリームと合成して単一のビットストリームとして伝送されてもよい。

図４は、ＧＰＳ２０１１のシンタックス構成の一例である。

なお、以下で説明するシンタックス名は、あくまで一例である。以下で説明したシンタックスの機能が同様であれば、シンタックス名は異なっていても差し支えない。

ＧＰＳ２０１１は、各ＧＰＳ２０１１を識別するためのＧＰＳ ｉｄ情報（ｇｐｓ_ｇ
ｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含んでもよい。

なお、図４のＤｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（１）は、１ビットのフラグであることを意味する。

ＧＰＳ２０１１は、ツリー合成部２０２０でＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用するかどうかを制御するためのフラグ（ｇｐｓ_ｐｒｅｄｉｃｔｉｖｅ_ｍｏｄｅ_ｅ
ｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

例えば、ｇｐｓ_ｐｒｅｄｉｃｔｉｖｅ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の場合は、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用すると定義し、ｇｐｓ_ｐｒ
ｅｄｉｃｔｉｖｅ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の場合は、Ｐｒｅｄ
ｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用しないように定義されていてもよい。

ＧＰＳ２０１１は、ツリー合成部２０２０でＰｌａｎａｒ ｍｏｄｅを使用するかどうかを制御するフラグ（ｇｅｏｍｅｔｒｙ_ｐｌａｎａｒ_ｍｏｄｅ_ｆｌａｇ）を含んでも
よい。

例えば、ｇｅｏｍｅｔｒｙ_ｐｌａｎａｒ_ｍｏｄｅ_ｆｌａｇの値が「１」の場合は、
Ｐｌａｎａｒ ｍｏｄｅを使用すると定義し、ｇｅｏｍｅｔｒｙ_ｐｌａｎａｒ_ｍｏｄｅ_ｆｌａｇの値が「０」の場合は、Ｐｌａｎａｒ ｍｏｄｅを使用しないように定義され
ていてもよい。

ＧＰＳ２０１１は、ツリー合成部２０２０で「ＱｔＢｔ」を行うかどうかを制御するためのフラグ（ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇ）を含んでもよい。

例えば、ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が「１」の場合は、「ＱｔＢｔ」を行うと定義し、ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_
ａｘｉｓ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が「０」の場合は、「Ｏｃｔｒｅｅ」
のみを行うと定義してもよい。

或いは、ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が「１」の場合は、ノード形状として立方体以外の直方体も許容する（すなわち、「ＱｔＢｔ」も使用する）と定義し、ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｌｉｓｔ_
ｐｒｅｓｅｎｔ_ｆｌａｇの値が「０」の場合は、ノード形状として立方体のみ許可する
（すなわち「Ｏｃｔｒｅｅ」のみを行う）と定義してもよい。

上述の定義以外でも、「ＱｔＢｔ」が使用可能か否かを制御するように定義されていればよい。

なお、ｇｅｏｍｅｔｒｙ_ｐｌａｎａｒ_ｍｏｄｅ_ｆｌａｇ及びｇｅｏｍ_ｔｒｅｅ_ｃ
ｏｄｅｄ_ａｘｉｓ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇは、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用しない場合のみ復号されるように定義されていてもよい。

（ツリー合成部２０２０）
図５〜図８を用いて、ツリー合成部２０２０の処理の一例を説明する。図５は、ツリー合成部２０２０の処理の一例を示すフローチャートである。

図５に示すように、ステップＳ５０１において、ツリー合成部２０２０は、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを適用するか否かを判定する。

例えば、ツリー合成部２０２０は、ｇｐｓ_ｐｒｅｄｉｃｔｉｖｅ_ｍｏｄｅ_ｅｎａｂ
ｌｅｄ_ｆｌａｇの値を参照して、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを適用するか
否かを判断することができる。

ツリー合成部２０２０は、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを適用すると判断した場合は、ステップＳ５０２の処理へ進み、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを適用しないと判断した場合は、ステップＳ５０４の処理へ進む。

ステップＳ５０２において、ツリー合成部２０２０は、該当するスライス内に含まれる全ての点群データの位置情報の復号が完了したかどうかを判定する。

ステップＳ５０２の処理は、例えば、ＧＳＨに、かかるスライスに含まれる点群データの数を示す情報を伝送しておき、かかる点群データ数と既に処理したデータ数とを比較することで、全ての点の処理が完了したか否かを判定することができる。

ツリー合成部２０２０は、全ての点群データの位置情報（点群の全ての点の位置情報）
の復号が完了した場合は、ステップＳ５０７の処理へ進み、処理を終了する。一方、ツリー合成部２０２０は、全ての点群データの位置情報（点群内の全ての点の位置情報）の復号が完了していない場合は、ステップＳ５０３の処理へ進む。

ステップＳ５０３において、ツリー合成部２０２０は、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇによって点群データの１点の位置情報（点群内の１つの点の位置情報）を復号する。

Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇは、復号済みの点群データから予測した位置情報と当該点群データの位置情報との差分を復号し、両者を加算することで、当該点群データの位置情報を復号する手段である。具体的な方法は、例えば、非特許文献２に記載の手法で実現できる。

ツリー合成部２０２０は、ステップＳ５０３において点群データの１点の位置情報を復号した後、ステップＳ５０２の処理へ戻る。

ツリー合成部２０２０は、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを適用すると判断した場合、ステップＳ５０２及びステップＳ５０３を繰り返し実行することで、全ての点群データの位置情報を復号することができる。

ここで、ツリー合成部２０２０は、位置情報を復号した点群データの各点について、ステップＳ５０３で復号した順に昇順でｉｎｄｅｘ（インデックス）を振ってもよい。更に、ツリー合成部２０２０は、かかるｉｎｄｅｘを順番に一次元の配列データＯｒｄｅｒ［ｉ］に格納しておいてもよい。

以上のように、ツリー合成部２０２０は、位置情報の復号方法の手段として、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを備え、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇにおける復号順に基づいて、かかる点群データの各点に対してｉｎｄｅｘを付与し、かかるＩｎｄｅｘを一次元の配列に格納するように構成されてもよい。

このような構成とすることで、後述するＬｏＤ算出部２０９０においてソート処理が実行されなかった場合も、属性情報の復号処理を行う順序が一意に決定するため、復号した位置情報と属性情報とが一意に対応付けられるようになる。

次に、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを適用しない場合の処理について説明する。

ステップＳ５０４において、ツリー合成部２０２０は、「Ｏｃｔｒｅｅ」又は「ＱｔＢｔ」を適用する場合のツリー構造について、全てのＤｅｐｔｈの処理を完了したかどうかを確認する。

かかるスライスのＤｅｐｔｈの値は、例えば、ＧＳＨで伝送しておくことができる。ツリー合成部２０２０は、かかるスライスのＤｅｐｔｈ値と既に処理したＤｅｐｔｈの値とを比較することで、全てのＤｅｐｔｈについて処理が完了したかどうかを判定することができる。

ツリー合成部２０２０は、全てのＤｅｐｔｈの処理が完了した場合には、ステップＳ５０７の処理へ進み、処理を終了する。一方、ツリー合成部２０２０は、全てのＤｅｐｔｈの処理が完了していない場合は、ステップＳ５０５の処理へ進む。

ステップＳ５０５において、ツリー合成部２０２０は、当該Ｄｅｐｔｈ内の全てのノードについて処理が完了したかどうかを判定する。

当該Ｄｅｐｔｈ内に含まれるノード数については、直前に処理したＤｅｐｔｈでのノード情報復号処理（ステップＳ５０６）の結果から算出することができる。また、最初に処理するＤｅｐｔｈに含まれるノード数は１である。

ツリー合成部２０２０は、当該Ｄｅｐｔｈに含まれる全ノードの処理が完了した場合には、ステップＳ５０４の処理へ戻る。一方、ツリー合成部２０２０は、全ノードの処理が完了していない場合には、ステップＳ５０６の処理へ進む。

ステップＳ５０６において、ツリー合成部２０２０は、「Ｏｃｔｒｅｅ」を用いる場合は、当該ノードを８分割で子ノードに分割し、「ＱｔＢｔ」を用いる場合は、該ノードを８分割、４分割又は２分割のいずれかで子ノードに分割し、Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ等の情報に基づいて各子ノードに点群データが含まれるかどうかを示すＯｃｃｕｐａｎｃｙ ｍａｐを復号する。

例えば、Ｏｃｃｕｐａｎｃｙ ｍａｐの値が「１」の場合は、対応する子ノード内に点群データが存在すると定義できる。また、例えば、Ｏｃｃｕｐａｎｃｙ ｍａｐの値が「０」の場合は、対応する子ノード内に点群データが存在しないか或いは当該子ノード自体が存在しないと定義できる。

よって、ツリー合成部２０２０は、同一のＤｅｐｔｈ内でＯｃｃｕｐａｎｃｙ ｍａｐの値が「１」となっている子ノードの数をカウントすることで、次に処理するＤｅｐｔｈ内のノード数を知ることができる。ステップＳ５０６の具体的な処理の例は、後述する。

ツリー合成部２０２０は、１つのノードについてＯｃｃｕｐａｎｃｙ ｍａｐの生成が完了したら、ステップＳ５０５の処理へ戻る。

以上のように、ツリー合成部２０２０は、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを適用しない場合は、ステップＳ５０４〜５０６の処理を繰り返しながら、ノードサイズが１×１×１になるまでノードを再帰的に分割することで、点群データの位置情報を復号することができる。

ここで、位置情報を復号した点群データの各点について、ステップＳ５０６で復号した順に昇順でｉｎｄｅｘを振り、ｉｎｄｅｘ順に一次元の配列データＯｒｄｅｒ［ｉ］に格納しておいてもよい。

また、以上のように、ツリー合成部２０２０は、復号対象の点群データの各点について位置情報を復号し、位置情報を復号した順に昇順で各点にｉｎｄｅｘを付与してもよい。更に、ツリー合成部２０２０は、かかるｉｎｄｅｘを一次元の配列に格納するように構成されていてもよい。

このような構成とすることで、後述するＬｏＤ算出部２０９０においてソート処理が実行されなかった場合も、属性情報の復号処理を行う順序が一意に決定するため、復号した位置情報と属性情報とが一意に対応付けられるようになる。

図６は、ステップＳ５０６におけるノード情報復号処理の一例を示すフローチャートである。

ステップＳ６０１において、ツリー合成部２０２０は、当該ノードの軸方向ごと（例えば、ｘ軸、ｙ軸、ｚ軸のそれぞれ）について、Ｐｌａｎａｒ ｍｏｄｅが適用可能かどうかを判定する。

ツリー合成部２０２０は、Ｐｌａｎａｒ ｍｏｄｅが適用可能な場合は、ステップＳ６０２の処理へ進む。一方、ツリー合成部２０２０は、Ｐｌａｎａｒ ｍｏｄｅが適用不可の場合は、ステップＳ６０３の処理へ進む。

ツリー合成部２０２０は、例えば、軸方向ごとにＰｌａｎａｒ ｍｏｄｅの適用可否を示すｅｌｉｇｉｂｌｅ_ｐｌａｎａｒ_ｆｌａｇを先に導出し、かかるｅｌｉｇｉｂｌｅ_
ｐｌａｎａｒ_ｆｌａｇの値を参照することで、Ｐｌａｎａｒ ｍｏｄｅの適用可否を判
定することができる。

例えば、ｅｌｉｇｉｂｌｅ_ｐｌａｎａｒ_ｆｌａｇの値が「１」の時、当該ノードの当該軸方向にＰｌａｎａｒ ｍｏｄｅを適用可能であると定義し、ｅｌｉｇｉｂｌｅ_ｐｌ
ａｎａｒ_ｆｌａｇの値が「０」の時、当該ノードの当該軸方向にＰｌａｎａｒ ｍｏｄ
ｅを適用不可であると定義してもよい。

ここで、当該ノードの当該軸方向が「ＱｔＢｔ」の適用により分割されない場合、対応するｅｌｉｇｉｂｌｅ_ｐｌａｎａｒ_ｆｌａｇの値を「０」に、すなわち、Ｐｌａｎａｒ
ｍｏｄｅを適用不可に設定してもよい。

すなわち、当該ノードの軸方向ごとにＰｌａｎａｒ ｍｏｄｅの適用可否を示すフラグを生成し、当該ノードが４分木分割又は２分木分割される場合、分割が発生しない軸方向に対応するＰｌａｎａｒ ｍｏｄｅの適用可否を示すフラグの値を、Ｐｌａｎａｒ ｍｏｄｅ適用不可を示す値に設定するように構成されていてもよい。

ここで、当該ノードの当該軸方向が分割されるか否かは、種々の方法を用いて決定することができる。例えば、非特許文献１のように、事前に定めたルール及びノード形状により暗黙的に決定してもよいし、明示的に点群符号化装置１００側で決定してビットストリームを介して伝送してもよい。

例えば、ＧＳＨに、各Ｄｅｐｔｈにて、どの軸方向を分割するかという情報を３ビット（各ビットがそれぞれ各軸方向に対応）ずつのシンタックスとして伝送してもよい。例えば、かかるビットの値が「１」の軸は分割する、かかるビットの値が「０」の軸は分割しないと定義することができる。

ここで、例えば、当該ノードが属するＤｅｐｔｈにおいて、当該軸方向に対応するビットが「０（＝「分割しない」）」を示している場合、対応するｅｌｉｇｉｂｌｅ_ｐｌａ
ｎａｒ_ｆｌａｇの値を「０」に、すなわち、Ｐｌａｎａｒ ｍｏｄｅを適用不可に設定
してもよい。

ステップＳ６０２において、ツリー合成部２０２０は、Ｐｌａｎａｒ ｍｏｄｅに関連するシンタックスを復号する。例えば、ツリー合成部２０２０は、非特許文献１に記載のｉｓ_ｐｌａｎａｒ_ｆｌａｇやｐｌａｎｅ_ｐｏｓｉｔｉｏｎを復号する。ツリー合成部
２０２０は、かかるシンタックスを復号した後、ステップＳ６０３の処理へ進む。

ステップＳ６０３において、ツリー合成部２０２０は、Ｍａｓｋ_ｐｌａｎａｒを設定
する。

Ｍａｓｋ_ｐｌａｎａｒは、８ビットで構成されるビットマスクである。各ビットは、
当該ノードを３つの軸方向（例えばｘ軸、ｙ軸、ｚ軸）にそれぞれ２分割した場合の、各子ノードに対応している。例えば、あるビットの値が「１」であるとき、対応する子ノードが存在しない或いは対応する子ノードに点群データが存在しないと定義できる。同様に、あるビットの値が「０」であるとき、対応する子ノードに点群データが存在する可能性があると定義することができる。

ここで、ツリー合成部２０２０は、「ＱｔＢｔ」によって分割が発生しなかった軸方向については、かかる軸方向で見たときに、座標が原点（０）に近い方の平面（Ｌｏｗｅｒ
ｐｌａｎｅ）に属する子ノードに対応するビットは「０」となるように、座標が原点から遠い方の平面（Ｕｐｐｅｒ ｐｌａｎｅ）に属する子ノードに対応するビットは「１」となるように、Ｍａｓｋ_ｐｌａｎａｒを設定してもよい。

すなわち、ツリー合成部２０２０は、各ノードの８つの子ノードに対応するＭａｓｋ_
ｐｌａｎａｒを生成し、当該ノードが４分木分割又は２分木分割される場合、分割されなかった軸方向の原点に近い方の平面に属する子ノードに対応するＭａｓｋ_ｐｌａｎａｒ
の値を「０」に設定し、分割されなかった軸方向の原点に遠い方の平面に属する子ノードに対応するＭａｓｋ_ｐｌａｎａｒの値を「１」に設定するように構成されていてもよい
。

かかる具体例を、図８に示す。

例えば、図８（ａ）のように、当該ノードがｚ軸方向に分割されないようにＱｔ（４分木分割）される場合、Ｍａｓｋ_ｐｌａｎａｒは、図８（ａ）に示すように、ｚ軸方向の
Ｌｏｗｅｒ ｐｌａｎｅに対応するビットが「０」となり、ｚ軸方向のＵｐｐｅｒ ｐｌａｎｅに対応するビットが「１」となる。なお、図８（ａ）においてｐｏｓｉｔｉｏｎとして記載しているａ〜ｈのラベルは、図８（ｃ）に記載の各子ノードの位置と対応している。

同様に、図８（ｂ）のように、ｘ軸方向及びｙ軸方向の両方が分割されないようにＢｔ（二分木分割）されている場合は、ｘ軸方向及びｙ軸方向両方のＬｏｗｅｒ ｐｌａｎｅに属する子ノードに対応するビットのみが「０」となり、それ以外のビットは「１」となる。

以上のように、ツリー合成部２０２０は、Ｍａｓｋ_ｐｌａｎａｒを設定した後、ステ
ップＳ６０４の処理へ進む。

ステップＳ６０４において、ツリー合成部２０２０は、Ｏｃｃｕｐａｎｃｙ ｍａｐを復号する。ここで、Ｏｃｃｕｐａｎｃｙ ｍａｐの復号には、上述のＭａｓｋ_ｐｌａｎ
ａｒ及び点群符号化装置１００から伝送されたビットストリームに含まれるＯｃｃｕｐａｎｃｙ ｃｏｄｅが用いられる。

Ｏｃｃｕｐａｎｃｙ ｍａｐは、上述のＭａｓｋ_ｐｌａｎａｒと同様に、８ビットで
構成されている。各ビットは、Ｍａｓｋ_ｐｌａｎａｒと同様に、当該ノードを３つの軸
方向（例えば、ｘ軸、ｙ軸、ｚ軸）にそれぞれ２分割した場合の、各子ノードに対応している。

ここで、ツリー合成部２０２０は、Ｍａｓｋ_ｐｌａｎａｒの値が「１」の子ノードに
ついては、Ｏｃｃｕｐａｎｃｙ ｍａｐの対応するビットを「０（当該子ノードに点群データが存在しない）」と復号する。

一方、ツリー合成部２０２０は、Ｍａｓｋ_ｐｌａｎａｒの値が「０」の子ノードにつ
いては、Ｏｃｃｕｐａｎｃｙ ｃｏｄｅを復号し、Ｏｃｃｕｐａｎｃｙ ｃｏｄｅの値が「１（当該子ノードに点群データが存在する）」の場合は、対応するＯｃｃｕｐａｎｃｙ
ｍａｐのビットを「１」に設定し、Ｏｃｃｕｐａｎｃｙ ｃｏｄｅの値が「０（当該子ノードに点群データが存在しない）」の場合は、対応するＯｃｃｕｐａｎｃｙ ｍａｐのビットを「０」に設定する。

すなわち、ツリー合成部２０２０は、当該ノードの各子ノードに点群データが存在するか否かを示すＯｃｃｕｐａｎｃｙ ｍａｐを復号し、上述のＭａｓｋ_ｐｌａｎａｒの値
が「１」の子ノードに対しては、対応するＯｃｃｕｐａｎｃｙ ｍａｐの値を「０」とし、上述のＭａｓｋ_ｐｌａｎａｒの値が「０」の子ノードに対しては、ビットストリーム
に含まれるＯｃｃｕｐａｎｃｙ ｃｏｄｅの値を参照してＯｃｃｕｐａｎｃｙ ｍａｐの値を設定するように構成されていてもよい。

以上のような構成とすることで、Ｐｌａｎａｒ ｍｏｄｅのために設けられたＭａｓｋ_ｐｌａｎａｒを用いて「ＱｔＢｔ」時の制御を実現することができるため、仕様やそれ
に基づく装置の設計を簡素化することができる。

なお、以上で説明したＭａｓｋ_ｐｌａｎａｒの値は一例であり、上記で説明した「０
」と「１」のビットの意味を入れ替えてもよい。

以上のように、ツリー合成部２０２０は、各ノードに対応する８ビットのＯｃｃｕｐａｎｃｙ ｍａｐを復号できる。ツリー合成部２０２０は、Ｏｃｃｕｐａｎｃｙ ｍａｐの復号後、ステップＳ６０５の処理へ進み、処理を終了する。

なお、以上の手順は、図７に記載のように順番を入れ替えることもできる。具体的には、ツリー合成部２０２０は、Ｍａｓｋ_ｐｌａｎａｒ設定及びＯｃｃｕｐａｎｃｙ ｍａ
ｐ復号を先に行い、その後、Ｐｌａｎａｒ ｍｏｄｅの利用可否の判断及びＰｌａｎａｒ
ｍｏｄｅに関連するシンタックスの復号処理を実行することもできる。

この場合、Ｐｌａｎａｒ ｍｏｄｅの利用可否の判断及びＰｌａｎａｒ ｍｏｄｅに関連するシンタックスの復号処理は、当該ノードについてではなく、当該ノードの各子ノードについてそれぞれ実行される。よって、ステップＳ７０１を追加し、ツリー合成部２０２０は、Ｏｃｃｕｐａｎｃｙ ｍａｐで点群データが存在すると復号された全ての子ノードについて処理が完了するまでループ処理を行う。

（属性情報復号部２０６０）
以下、図９及び図１０を用いて、属性情報復号部２０６０で復号される制御データについて説明する。

図９は、幾何情報復号部２０６０で受信する符号化データ（ビットストリーム）の構成の一例である。

第１に、ビットストリームは、ＡＰＳ２０６１を含んでいてもよい。ＡＰＳ２０６１は、アトリビュートパラメータセットとも呼ばれ、属性情報の復号に関する制御データの集合である。具体例については後述する。各ＡＰＳ２０６１は、複数のＡＰＳ２０６１が存在する場合に個々を識別するためのＡＰＳ ｉｄ情報を少なくとも含む。

第２に、ビットストリームは、ＡＳＨ２０６２Ａ/２０６２Ｂを含んでいてもよい。Ａ
ＳＨ２０６２Ａ/２０６２Ｂは、アトリビュートスライスヘッダとも呼ばれ、後述するス
ライスに対応する制御データの集合である。具体例については後述する。ＡＳＨ２０６２Ａ/２０６２Ｂは、各ＡＳＨ２０６２Ａ/２０６２Ｂに対応するＡＰＳ２０６１を指定するためのＡＰＳ ｉｄ情報を少なくとも含む。

第３に、ビットストリームは、ＡＳＨ２０６２Ａ/２０６２Ｂの次に、スライスデータ
２０６３Ａ/２０６３Ｂを含んでいてもよい。スライスデータ２０６３Ａ/２０６３Ｂには、属性情報を符号化したデータが含まれている。

以上のように、ビットストリームは、各スライスデータ２０６３Ａ/２０６３Ｂに、１
つずつＡＳＨ２０６２Ａ/２０６２Ｂ及びＡＰＳ２０６１が対応する構成となる。

上述のように、ＡＳＨ２０６２Ａ/２０６２Ｂにて、どのＡＰＳ２０６１を参照するか
をＡＰＳ ｉｄ情報で指定するため、複数のスライスデータ２０６３Ａ/２０６３Ｂに対
して共通のＡＰＳ２０６１を用いることができる。

言い換えると、ＡＰＳ２０６１は、スライスごとに必ずしも伝送する必要がない。例えば、図９のように、ＡＳＨ２０６２Ｂ及びスライスデータ２０６３Ｂの直前では、ＡＰＳ２０６１を符号化しないようなビットストリームの構成とすることもできる。

なお、図９の構成は、あくまで一例である。各スライスデータ２０６３Ａ/２０６３Ｂ
に、ＡＳＨ２０６２Ａ/２０６２Ｂ及びＡＰＳ２０６１が対応する構成となっていれば、
ビットストリームの構成要素として、上述以外の要素が追加されてもよい。例えば、ビットストリームは、シーケンスパラメータセット（ＳＰＳ）を含んでいてもよい。

また、同様に、伝送に際して、図９と異なる構成に整形されてもよい。更に、前記幾何情報復号部２０１０で復号されるビットストリームと合成して単一のビットストリームとして伝送されてもよい。例えば、スライスデータ２０１３Ａ及び２０６３Ａ、スライスデータ２０１３Ｂ及び２０６３Ｂを、それぞれ単一のスライスデータとして扱い、各スライスの直前にＧＳＨ２０１２Ａ及びＡＳＨ２０６２Ａ、ＧＳＨ２０１２Ｂ及びＡＳＨ２０６２Ｂを、それぞれ配置する構成となっていてもよい。また、その際、各ＧＳＨ及びＡＳＨに先立って、ＧＰＳ２０１１及びＡＰＳ２０６１が配置されていてもよい。

図１０は、ＡＰＳ２０６１のシンタックス構成の一例である。

ＡＰＳ２０６１は、各ＡＰＳ２０６１を識別するためのＡＰＳ ｉｄ情報（ａｐｓ_ａ
ｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含んでもよい。

ＡＰＳ２０６１は、属性情報の復号方法を示す情報（ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅ）を含んでもよい。例えば、ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅの値が「０」の時は、逆リフティング部２１００において可変の重み付きリフティング予測を行い、ａｔｔｒ_ｃｏ
ｄｉｎｇ_ｔｙｐｅの値が「１」の時は、ＲＡＨＴ部２０８０にてＲＡＨＴを行い、ａｔ
ｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅの値が「２」の時は、逆リフティング部２１００において固定の重みでのリフティング予測を行うというように規定されていてもよい。

ＡＰＳ２０６１は、ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅの値が「２」の時、すなわち、逆リフティング部２１００において固定の重みでのリフティング予測を行う場合、スケーラブルリフティングを適用するかどうかを示すフラグ（ｌｉｆｔｉｎｇ_ｓｃａｌａｂｉｌ
ｉｔｙ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

ｌｉｆｔｉｎｇ_ｓｃａｌａｂｉｌｉｔｙ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の場
合は、スケーラブルリフティングを適用しないと規定し、ｌｉｆｔｉｎｇ_ｓｃａｌａｂ
ｉｌｉｔｙ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の場合は、スケーラブルリフティングを適用すると規定されていてもよい。

また、ｌｉｆｔｉｎｇ_ｓｃａｌａｂｉｌｉｔｙ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１
」の場合、すなわち、スケーラブルリフティングを適用する場合は、上述のように、画像復号装置２００の実行時の外部パラメータとして、ｓｋｉｐＯｃｔｒｅｅＬａｙｅｒｓを取得するよう規定されていてもよい。

また、上述の「ＱｔＢｔ」を適用する場合、すなわち、ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が「１」の場合は、スケーラブルリフティングを適用しないこと、すなわち、ｌｉｆｔｉｎｇ_ｓｃａｌａｂｉｌｉｔｙ_ｅｎａｂｌｅｄ_ｆｌａｇの値が必ず「０」であることと規定されていてもよい。

すなわち、「ＱｔＢｔ」を適用するかどうかを制御するフラグを復号する幾何情報復号部２０１０と、「スケーラブルリフティング」を適用するかどうかを制御するフラグを復号する属性情報復号部２０６０とを備え、「ＱｔＢｔ」が適用される場合には、「スケーラブルリフティング」は適用されないように制約されていてもよい。

このように、「ＱｔＢｔ」とスケーラブルリフティングとを排他的に適用するように制約を掛けることで、機能の組み合わせを削減することで仕様をシンプルにし、実装を容易にできる。

例えば、スケーラブルリフティングを適用する場合は、必ず「Ｏｃｔｒｅｅ」を適用するように制約することで、スケーラブルリフティングの処理において、ノード形状は必ず立方体であり、各分割で必ず８分木分割をする前提で処理が実行できるため、ノード形状が直方体で、分割の種類が８分木分割に加えて４分木及び２分木分割も許可されている場合と比較して、仕様を簡素化することができる。

ＡＰＳ２０６１は、ＬｏＤ算出部２０９０で算出するＬｏＤのレベル数を指定するシンタックス（ｌｉｆｔｉｎｇ_ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１）を含んでもよい。ＬｏＤの値は、１以上の整数値である必要があるため、例えば、当該シンタックスは、０以上の整数値としておき、当該シンタックスの値に「１」を加えた値を、ＬｏＤのレベル数としてもよい。

ＡＰＳ２０６１は、ＬｏＤ算出部２０９０におけるソート処理を実行するか否かを制御するフラグ（ｌｉｆｔｉｎｇ_ｍｏｒｔｏｎ_ｓｏｒｔ_ｓｋｉｐ_ｅｎａｂｌｅｄ_ｆｌａ
ｇ）を含んでもよい。

例えば、ｌｉｆｔｉｎｇ_ｍｏｒｔｏｎ_ｓｏｒｔ_ｓｋｉｐ_ｅｎａｂｌｅｄ_ｆｌａｇ
の値が「０」の時は、ソート処理を実行し、ｌｉｆｔｉｎｇ_ｍｏｒｔｏｎ_ｓｏｒｔ_ｓ
ｋｉｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は、ソート処理を実行しないと定義してもよい。

また、例えば、ｌｉｆｔｉｎｇ_ｍｏｒｔｏｎ_ｓｏｒｔ_ｓｋｉｐ_ｅｎａｂｌｅｄ_ｆ
ｌａｇは、上述のｌｉｆｔｉｎｇ_ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１の値が「０」の場合、すなわち、ＬｏＤのレベル数が「１」の場合のみ、ＡＰＳ２０６１に含まれるように定義してもよい。

ｇｐｓ_ｐｒｅｄｉｃｔｉｖｅ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時、すなわち、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを適用しない時は、ｌｉｆｔｉｎｇ_
ｍｏｒｔｏｎ_ｓｏｒｔ_ｓｋｉｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値は必ず「０」であることという制約を定義してもよい。

すなわち、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇの適用可否を制御するフラグを復号する幾何情報復号部２０１０と、復号対象の点群データの属性情報の復号に先立って、かかる点群データを復号した位置情報に基づいてソートする処理を実行するか否かを制御するフラグを復号する属性情報復号部２０６０を備え、かかるＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇの適用可否を制御するフラグがＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇが適用不可であること示しているとき、ソートする処理を実行するか否かを制御するフラグの値が必ず「ソート処理を実行する」ということを意味する値に設定されていなければならないという制約を備えるように構成されていてもよい。

また、属性情報の復号における「ソート処理を実行しない」という機能は、点群符号化装置１００側での低遅延処理（符号化対象の点群データが入力されてから、対応する点群データがビットストリームに出力されるまでの遅延時間の短縮）を実現する機能である。かかる機能は、位置情報を逐次的に復号するＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇと組み合わせることで、特にその機能を発揮することができる。

よって、「ソート処理を実行しない」という機能をＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇとの組み合わせのみに限定することで、機能の効果を保持しつつ、設計や検証を容易にすることができる。

（ＬｏＤ算出部２０９０）
以下、図１１を用いて、ＬｏＤ算出部２０９０の処理内容の一例について説明する。

図１１は、ＬｏＤ算出部２０９０のフローチャートの一例である。

ステップＳ１１０１において、ＬｏＤ算出部２０９０は、幾何情報再構成部２０４０から出力された点群内の各点の位置情報を並び替える処理（ソート）を行う。

具体的には、例えば、ＬｏＤ算出部２０９０は、ツリー合成部２０２０によって生成された各点群データの位置情報に付与されたｉｎｄｅｘを昇順に格納した一次元の配列データＯｒｄｅｒ［ｉ］を入力として、かかる位置情報に基づいてソートした結果で一次元の配列データＯｒｄｅｒ［ｉ］を更新してもよい。ＬｏＤ算出部２０９０は、例えば、かかる位置情報から生成できるＭｏｒｔｏｎ ｃｏｄｅの昇順となるように、かかる位置情報をソートしてもよい。

また、ソート処理を実行するか否かを制御するフラグ（ｌｉｆｔｉｎｇ_ｍｏｒｔｏｎ_ｓｏｒｔ_ｓｋｉｐ_ｅｎａｂｌｅｄ_ｆｌａｇ）が、ソート処理を実行しないことを示す
値をとっているとき、例えば、上述の例では、ｌｉｆｔｉｎｇ_ｍｏｒｔｏｎ_ｓｏｒｔ_
ｓｋｉｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、ＬｏＤ算出部２０９０は、かかるソート処理を実行しないこととしてもよい。
上述のソート処理が実行されない時、点群データの各点のｉｎｄｅｘは、ツリー合成部２０２０での復号順に付与されることと規定してもよい。更に、点群データの各点のｉｎｄｅｘは、かかるｉｎｄｅｘの昇順に一次元の配列データＯｒｄｅｒ［ｉ］に格納されることと規定してもよい。

上述のソート処理が実行されず、かつ、ツリー合成部２０２０でＰｒｅｄｉｃｉｔｉｖ
ｅ ｃｏｄｉｎｇを適用すると判断された場合、点群データの各点のｉｎｄｅｘは、ツリー合成部２０２０でのＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇによる復号順に付与されることと規定してもよい。更に、点群データの各点のｉｎｄｅｘは、かかるｉｎｄｅｘの昇順に一次元の配列データＯｒｄｅｒ［ｉ］に格納されることと規定してもよい。

すなわち、ＬｏＤ算出部２０９０は、復号対象の点群データの属性情報の復号に先立って、点群データを復号した位置情報に基づいてソートする処理を実行するか否かを決定し、ソート処理を実行しなかった場合は、一次元の配列に格納されたｉｎｄｅｘの順序に基づいて属性情報の復号を行うように構成されていてもよい。

以上のような構成とすることで、上述のソート処理が実行されなかった場合も、属性情報の復号処理を行う順序が一意に決定するため、復号した位置情報と属性情報とが一意に対応付けられるようになる。

以上のように、ＬｏＤ算出部２０９０は、上述のソート処理を実行又は省略した後、ステップＳ１１０２の処理へ進む。

ステップＳ１１０２において、ＬｏＤ算出部２０９０は、各点の位置情報について、それぞれＬｏＤを算出する。具体的なＬｏＤの算出方法は、既知の手法が適用できるため、詳細な説明は省略する。

ＬｏＤ算出部２０９０は、各点群データのＬｏＤを算出した後、ステップＳ１１０３の処理へ進む。

ステップＳ１１０３において、ＬｏＤ算出部２０９０は、各ノードについて、当該ノードのＬｏＤより上位のＬｏＤに属するノードを対象に、ｋ最近傍探索を行う。具体的なｋ最近傍探索の方法は、既知の手法が適用できるため、詳細な説明は省略する。

ＬｏＤ算出部２０９０は、全てのノードについてｋ最近傍探索を行った後、ステップＳ１１０４の処理へ進み、終了する。

また、上述の点群符号化装置１００及び点群復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システム
にも同様に適用できる。

１０…点群処理システム
１００…点群符号化装置
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部

Claims (11)

1. 点群復号装置であって、
   復号対象の点群データの各点について位置情報を復号し、前記位置情報の復号順に昇順で前記点群データの各点にインデックスを付与するように構成されているツリー合成部を備えることを特徴とする点群復号装置。
2. 前記ツリー合成部は、前記インデックスを一次元の配列に格納するように構成されている請求項１に記載の点群復号装置。
3. 前記ツリー合成部は、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇで前記位置情報を復号し、前記Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇにおける前記位置情報の復号順に基づいて前記点群データの各点に前記インデックスを付与するように構成されている請求項１又は２に記載の点群復号装置。
4. 前記点群データの各点の属性情報の復号に先立って、前記位置情報に基づいて前記点群データの各点をソートする処理を実行するか否かを決定し、前記ソート処理を実行しなかった場合は、前記インデックスの順序に基づいて前記属性情報の復号を行うように構成されているＬｏＤ算出部を備えることを特徴とする請求項１〜３のいずれか一項に記載の点群復号装置。
5. 前記Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇの適用可否を制御するフラグを復号するように構成されている幾何情報復号部と、
   前記点群データの各点の属性情報の復号に先立って、前記位置情報に基づいて前記点群データの各点をソートする処理を実行するか否かを制御するフラグを復号するように構成されている属性情報復号部とを備え、
   前記Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇの適用可否を制御するフラグの値が、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇが適用不可であることを示しているとき、前記ソートする処理を実行するか否かを制御するフラグの値が、前記ソート処理を実行することを示す値に設定されていることを特徴とする請求項３に記載の点群復号装置。
6. 前記ソートする処理を実行するか否かを制御するフラグの値に基づいて前記ソート処理を実行しなかった場合は、前記インデックスの順序に基づいて前記属性情報の復号を行うように構成されているＬｏＤ算出部を備えることを特徴とする請求項５に記載の点群復号装置。
7. 点群復号装置であって、
   ノードの８つの子ノードに対応するＭａｓｋ_ｐｌａｎａｒを生成するように構成され
   ているツリー合成部を備え、
   前記ツリー合成部は、前記ノードが４分木分割又は２分木分割される場合、分割されなかった軸方向の原点に近い方の平面に属する子ノードに対応する前記Ｍａｓｋ_ｐｌａｎ
   ａｒの値を「０」に設定し、分割されなかった軸方向の原点に遠い方の平面に属する子ノードに対応する前記Ｍａｓｋ_ｐｌａｎａｒの値を「１」に設定するように構成されてい
   ることを特徴とする点群復号装置。
8. 前記ツリー合成部は、
   前記ノードの各子ノードに点群データが存在するか否かを示すＯｃｃｕｐａｎｃｙ ｍａｐを復号するように構成されており、
   前記Ｍａｓｋ_ｐｌａｎａｒの値が「１」である子ノードに対して、前記子ノードに
   対応する前記Ｏｃｃｕｐａｎｃｙ ｍａｐの値を「０」に設定するように構成されており
   、
   前記Ｍａｓｋ_ｐｌａｎａｒの値が「０」である子ノードに対しては、ビットストリ
   ームに含まれるＯｃｃｕｐａｎｃｙ ｃｏｄｅの値を参照して、前記Ｏｃｃｕｐａｎｃｙ
   ｍａｐの値を設定するように構成されていることを特徴とする請求項７に記載の点群復号装置。
9. 点群復号装置であって、
   ノードの軸方向ごとにＰｌａｎａｒ ｍｏｄｅの適用可否を示すフラグを生成するように構成されているツリー合成部を備え、
   前記ツリー合成部は、前記ノードが４分木又は２分木分割される場合、分割が発生しない軸方向に対応する前記Ｐｌａｎａｒ ｍｏｄｅの適用可否を示すフラグの値を、前記Ｐｌａｎａｒ ｍｏｄｅ適用不可を示す値に設定するように構成されていることを特徴とする点群復号装置。
10. 復号対象の点群データの各点について位置情報を復号する工程と、
    前記位置情報の復号順に昇順で前記点群データの各点にインデックスを付与する工程と、
    前記インデックスを一次元の配列に格納する工程とを有することを特徴とする点群復号方法。
11. 点群復号装置で用いるプログラムであって、コンピュータに、
    復号対象の点群データの各点について位置情報を復号する工程と、
    前記位置情報の復号順に昇順で前記点群データの各点にインデックスを付与する工程と、
    前記インデックスを一次元の配列に格納する工程とを実行させることを特徴とするプログラム。

Images