JP2023077494A - 点群復号装置、点群復号方法及びプログラム - Google Patents

Abstract

【課題】点群のイントラ予測の精度を改善し、圧縮性能を改善すること。【解決手段】本発明に係る点群復号装置２００は、子階層ノードが占有であるか否かを示す子階層ノードの占有情報を記憶する占有記憶部２５と、子階層ノードの占有情報を用いて子ノードが占有であるか否かを示す子ノードの占有情報を予測するイントラ予測部２１とを有する。【選択図】図２

Description

本発明は、点群復号装置、点群復号方法及びプログラムに関する。

例えば、非特許文献１のような八分木法に基づく点群の符号化及び復号技術が広く利用されている。

かかる技術で用いられる八分木法では、３次元空間をノードと呼ばれる有限の空間で分割する。そして、各ノードを８つに分割する処理を階層的に行う。

かかる処理では、現在着目している分割前のノードを親ノードと呼び、分割後のノードを子ノードと呼ぶ。また、親ノードと同じ階層にある他のノードを親階層ノードと呼び、子ノードと同じ階層にある他のノードを子階層ノードと呼ぶ。

非特許文献２では、八分木法における親ノードと面、辺又は頂点を共有する２６個の親階層ノードの占有状態を参照することにより、８つの子ノードの占有状態を予測するイントラ予測手法が開示されている。

かかる技術では、８つの子ノードのそれぞれに対して、２６個の親階層ノードの占有状態及び事前に設定した重みパラメータを乗算した値を用いて占有スコアを計算する。そして、２つの閾値ｔｈ０及びｔｈ１を用いて、占有スコアがｔｈ０以下であれば非占有であり、ｔｈ１以上であれば占有であり、ｔｈ０より大きくｔｈ１より小さければ予測不可能と判定する。

非特許文献３では、８つの子ノードのそれぞれに対して参照する親階層ノードの数を７通りに削減することにより、非特許文献２の技術に比べて符号化及び復号の処理時間を削減する技術が開示されている。

Ｇ-ＰＣＣ ｃｏｄｅｃ ｄｅｓｃｒｉｐｔｉｏｎ ｖ５、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１８８９１ ［ＰＣＣ］Ｉｎｔｒａ ｍｏｄｅ ｆｏｒ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇ ｉｎ ＴＭＣ３、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ ＭＰＥＧ２０１８/ｍ４３６００ ［Ｇ-ＰＣＣ］［ｎｅｗ ｐｒｏｐｏｓａｌ］Ｏｎ ｇｅｏｍｅｔｒｙ ｏｃｃｕｐａｎｃｙ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ ＭＰＥＧ２０２０/ｍ５２３２７

しかしながら、非特許文献２や非特許文献３のイントラ予測は、密な点群に対しては圧縮性能を改善する効果がある一方で、ＬｉＤＡＲで計測したような疎な点群に対しては効果が無いという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、点群のイントラ予測の精度を改善し、圧縮性能を改善することができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、ビットストリームから点群を復号するように構成されている点群復号装置であって、子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶するように構成されている占有記憶部と、前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測するように構成されているイントラ予測部と、を有することを要旨とする。

本発明の第２の特徴は、ビットストリームから点群を復号するように構成されている点群復号方法であって、子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶する工程と、前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測する工程と、を有することを要旨とする。

本発明の第３の特徴は、コンピュータを、ビットストリームから点群を復号するように構成されている点群復号装置として機能させるプログラムであって、前記点群復号装置は、子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶するように構成されている占有記憶部と、前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測するように構成されているイントラ予測部と、を有することを要旨とする。

本発明によれば、点群のイントラ予測の精度を改善し、圧縮性能を改善することができる点群復号装置、点群復号方法及びプログラムを提供することができる。

図１は、一実施形態に係る点群処理システム１０の構成の一例を示す図である。 図２は、一実施形態に係る点群復号装置２００の機能ブロックの一例を示す図である。 図３は、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。 図４は、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。 図５Ａは、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。 図５Ｂは、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。 図６は、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。 図７は、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

（第１実施形態）
以下、図１～図７を参照して、本発明の第１実施形態に係る点群処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る点群処理システム１０を示す図である。

図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。

点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。

なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。

ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。

（点群復号装置２００）
以下、図２を参照して、本実施形態に係る点群復号装置２００について説明する。図２は、本実施形態に係る点群復号装置２００の機能ブロックの一例について示す図である。

図２に示すように、点群復号装置２００は、イントラ予測部２１と、確率取得部２２と、算術復号部２３と、八分木復号部２４と、占有記憶部２５とを有する。これらの機能ブロックは、点群復号装置２００に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

以下、本実施形態に係る点群復号装置２００の各機能ブロックについて説明する。確率取得部２２、算術復号部２３及び八分木復号部２４における具体的な処理については、例えば、上述の非特許文献１に記載の方法を用いることができる。

［イントラ予測部２１］
イントラ予測部２１は、親ノードを分割して得られる８つの子ノードの占有状態を予測するように構成されている。

ここで、子ノードの占有状態は、子ノードは占有であるか否かについて、すなわち、子ノードに点が存在するか否かを示す情報である。なお、子ノードに点が存在する場合、かかる子ノードは占有である。

本実施形態においては、イントラ予測部２１は、ＬｉＤＡＲセンサにおける走査範囲や走査間隔を用いて子ノードの占有状態を予測するように構成されている。

ＬｉＤＡＲセンサは、レーザ光を用いて物体までの距離を計測し、計測された物体の位置を点で表現する。

一般的に、レーザ光の照射方向を水平方向や垂直方向に変化させることにより、周囲の物体までの距離を走査することができる。水平方向や垂直方向への走査範囲や走査間隔は、ハードウェアごとに定められている。

一例を挙げれば、Ｖｅｌｏｄｙｎｅ ＨＤＬ-６４Ｅ ＬｉＤＡＲセンサの水平方向への走査範囲及び走査間隔は。それぞれ３６０°及び０.０８°であり、Ｖｅｌｏｄｙｎｅ ＨＤＬ-６４Ｅ ＬｉＤＡＲセンサの垂直方向への走査範囲及び走査間隔は、それぞれ２６.９°及び０.４°である。

イントラ予測部２１は、このような走査範囲や走査間隔を用いて、子ノードの占有状態を予測するように構成されている。

ここで、走査範囲や走査間隔の情報は、予め点群復号装置２００において保持されていてもよいし、入力ビットストリームの中に含まれていてもよい。

また、イントラ予測部２１は、時間的に連続する点群が復号される場合には、１つ以上前に復号された点群を用いて走査範囲や走査間隔を推定するように構成されていてもよい。

すなわち、イントラ予測部２１は、復号された点群の座標を直交座標系から極座標系に変換することによって方位角及び極角を求め、方位角及び極角の最大値と最小値から走査範囲を推定するように構成されていてもよい。

また、イントラ予測部２１は、方位角方向や極角方向に対する各点の最近傍点を探索し、かかる最近傍点の方位角や極角の差の絶対値を求め、その平均値や中央値を走査間隔の推定結果とするように構成されていてもよい。

ここでは、イントラ予測部２１は、初めに垂直方向の走査間隔を推定してから、推定した走査間隔の値を用いて走査間隔ごとに点群を分割し、分割した点群を用いて水平方向の走査間隔を推定するように構成されていてもよい。

或いは、イントラ予測部２１は、初めに水平方向の走査間隔を推定してから、推定した走査間隔の値を用いて走査間隔ごとに点群を分割し、分割した点群を用いて垂直方向の走査間隔を推定するように構成されていてもよい。

なお、以降の説明で用いられる子階層ノードや親階層ノードの占有状態や、占有である子階層ノードの位置は、占有記憶部２５から与えられる。

図３を参照して、イントラ予測部２１による予測の概要について説明する。

図３の例では、単純化のため、水平方向のみを考慮し、垂直方向の上部から見た子階層ノードを四角形で示す。斜線の四角形は、占有である子階層ノードを表し、白色の四角形は、非占有である子階層ノードを表す。

また、黒い太線で表される四角形は、親ノードを表し、黒い丸は、ＬｉＤＡＲセンサの位置を表している。ＬｉＤＡＲセンサの位置は、点を表すローカル座標系の原点Ｏに相当する。

ここで、星型の記号を含む四角形を、これから占有状態を予測する子ノード（予測対象の子ノード）とする。

水平方向の走査間隔をθとすると，予測対象の子ノードが占有となる場合には、かかる子ノードの中心から水平方向にθだけ離れたいずれかの子階層ノードが占有であると考えられる。

ただし、物体表面の形状によって占有となる子階層ノードの位置は異なる。例えば、Ｔ_１と書かれた波線が物体表面を表す場合、ｎ_１及びｎ_２と書かれた子階層ノードが占有となる。一方、Ｔ_２と書かれた波線が物体表面を表す場合、ｎ_３及びｎ_４と書かれた子階層ノードが占有となる．
そのため，点線で表されたレーザ光の経路上に位置する任意の子階層ノードが占有である場合、イントラ予測部２１は、予測対象の子ノードが占有であると予測してもよい。

また、計測誤差を考慮して、θに微小な変化を加えた方位を通るレーザ光の経路上に位置する子階層ノードが占有である場合、イントラ予測部２１は、予測対象の子ノードが占有であると予測してもよい。

ただし、レーザ光の経路上に位置する全ての子階層ノードの占有状態を参照する処理における演算量は大きい。そのため、例えば、イントラ予測部２１は、予測対象の子ノードとの距離が閾値以内にある子階層ノードのみを参照する等、任意の方法で参照する子階層ノードを制限してもよい。

また、イントラ予測部２１は、ＬｉＤＡＲセンサの走査範囲外に位置する子階層ノードについては参照しなくてもよい。

或いは、イントラ予測部２１は、任意の方法で参照すべき子階層ノードの位置を推定してもよい。例えば，イントラ予測部２１は、予測対象の子ノードの中心と方位角が３θ及び２θだけ離れている占有である子階層ノードの位置を用いて、線形回帰によってθだけ離れた子階層ノードの位置を推定してもよいし、他の方法で、かかる子階層ノードの位置を推定してもよい。

この時。イントラ予測部２１は、占有である子階層ノードの位置については、占有記憶部２５から与えられたものを用いてもよいし、新たに計算してもよい。

また、イントラ予測部２１は、計測誤差を考慮して、推定された位置の周囲の子階層ノードを参照し、参照した子階層ノードのいずれかが占有であれば、予測対象の子ノードが占有であると予測してもよい。

さらに、イントラ予測部２１は、垂直方向に対しても同様の方法で予測を行なってもよい。イントラ予測部２１は、同一の子ノードに対して水平方向及び垂直方向で独立に予測が行われた場合、どちらか一方でも占有であると予測すれば、予測対象の子ノードが占有であると予測してもよいし、両方とも占有であると予測した場合にのみ、予測対象の子ノードが占有であると予測してもよい。

なお、参照する子階層ノードが常に復号済みとは限らない。そのため、イントラ予測部２１は、まだ復号されていない子階層ノードの占有状態については、非占有であるとみなしてよい。

また、イントラ予測部２１による予測において、図４に示すように、星型の記号を含む子ノードの中心からθだけ離れたレーザ光が、予測対象の子ノードの内部を通過する場合もある。

この時、例えば、Ｔ_１と書かれた波線が物体表面を表す場合、ｎ_１及びｎ_２と書かれた子階層ノードが占有となる。しかしながら、子ノードの中心からθだけ離れたレーザ光は、ｎ_１及びｎ_２のどちらも通過しないため、イントラ予測部２１は、予測対象の子ノードが占有であると予測することができない。

このような場合には、Ｎ×θだけ離れたレーザ光の経路上に位置する予測対象の子ノードの近傍の子階層ノードが占有である場合、イントラ予測部２１は、予測対象の子ノードが占有であると予測してもよい。

ここで、Ｎは、任意の自然数である。このＮは、レーザ光が予測対象の子ノードの内部を通過しなくなる最小の値でもよいし、他の値でもよい。また、イントラ予測２１における予測に使用するＮは、1通りだけでもよいし、複数通りでもよい。

図４の例では、Ｎ＝２の場合に、レーザ光がｎ_１を通過するため、イントラ予測部２１は、予測対象の子ノードが占有であると予測することができる。

ここで、イントラ予測２１は、予測対象の子ノードの中心からθだけ離れたレーザ光が予測対象の子ノードの内部を通過するか否かについて判断するために、角度θを用いて予測対象の子ノードの中心の座標を座標変換し、得られた座標が予測対象の子ノードの内部に位置するか否かについて判定してもよい。

或いは、イントラ予測２１は、予測対象の子ノードの１辺の長さをｒとし、原点から予測対象の子ノードの中心までの距離をｌとし、ｌ×ｔａｎθ＜ｒ/２であれば、予測対象の子ノードの内部に位置するとみなす、というような近似式による判定を行ってもよい。

また、θやｒの値については、符号化や復号を実行する前に決定可能であるため、予め子ノードの位置を表す座標に対する判定結果を計算しておき、ルックアップテーブルに保存しておいてもよい。

そして、イントラ予測部２１は、符号化や復号の実行時には、かかるルックアップテーブルを用いて子ノードの座標から判定結果を参照することにより、判定に要する計算を省略してもよい。

八分木法における各階層で全てのノードに対する判定結果が一致する場合、イントラ予測部２１は、かかる判定処理を省略してもよい。同様に、レーザ光が予測対象の子ノードの内部を通過しなくなる最小のＮを事前に計算して保存しておいてもよい。

本実施形態において、イントラ予測部２１は、予測処理の高速化のために、子階層ノードの参照範囲を子ノードの近傍のみに制限しつつ、上述の処理を簡略化した方法で、予測対象の子ノードの占有状態を予測するように構成されていてもよい。

すなわち、イントラ予測部２１は、占有である子階層ノードが近傍に存在する子ノードが占有であると予測するように構成されていてもよい。

例えば、イントラ予測部２１は、占有である子階層ノードと面、辺又は頂点を共有する子ノードが占有であると予測するように構成されていてもよい。

図５Ａ及び図５Ｂを参照して、図３と同様の表現で、イントラ予測部２１による予測の一例について説明する。

図５Ａは、占有である子階層ノードと面を共有する予測対象の子ノードの例について示しており、星型の記号を含む予測対象の子ノードと面を共有する子階層ノードが占有であるため、イントラ予測部２１は、予測対象の子ノードが占有であると予測する。

図５Ｂは、占有である子階層ノードと辺を共有する予測対象の子ノードの例を示しており、星型の記号を含む予測対象の子ノードと辺を共有する子階層ノードが占有であるため、イントラ予測部２１は、予測対象の子ノードが占有であると予測する。

なお、占有である子階層ノードと頂点を共有する予測対象の子ノードの例については割愛するが、イントラ予測部２１は、同様に予測できる。

また、図６に示すように、イントラ予測部２１は、予測対象の子ノードが、占有であると予測される複数の子階層ノードと面、辺又は頂点を共有する場合のみ、予測対象の子ノードが占有であると予測するように構成されていてもよい。

なお、イントラ予測部２１は、必ずしも予測対象の子ノードの近傍（例えば、予測対象の子ノードと面、辺又は頂点を共有する位置）に存在する全ての子階層ノードを参照する必要はなく、選択された一部の子階層ノードのみを参照するように構成されていてもよい。

例えば、イントラ予測部２１は、かかる予測を用いて訓練用の点群データを符号化することにより、予測対象の子ノードの位置を基準とした相対位置として表される各子階層ノードを選択する場合の圧縮性能と、かかる各子階層ノードを選択しない場合の圧縮性能とを比較し、圧縮性能の改善度合いが大きい子階層ノードを選択するように構成されていてもよいし、他の方法で選択するように構成されていてもよい。

また、イントラ予測部２１は、参照する子階層ノードのいずれかが占有であれば、予測対象の子ノードが占有であると予測する代わりに、参照する子階層ノードの占有状態を用いて、予測対象の子ノードに占有スコアを累積加算するように構成されていてもよい。

かかる占有スコアは、参照する子階層ノードが占有である場合には「１」となり、参照する子階層ノードが非占有である場合は「０」となる２値に、重みを乗算した値である。

ここで、例えば、参照する子階層ノードが予測対象の子ノードと面を共有する場合と、辺を共有する場合と、頂点を共有する場合とで異なる重みが用いられてもよい。

また、イントラ予測部２１は、予測対象の子ノードに対して占有スコアを加算した回数で、最終的な占有スコアを除算するように構成されていてもよい。そして、イントラ予測部２１は、２つの閾値ｔｈ０及びｔｈ１を用いて、占有スコアがｔｈ０以下であれば非占有であると判定し、占有スコアがｔｈ１以上であれば占有である判定し、占有スコアがｔｈ０より大きくｔｈ１より小さければ予測不可能と判定するように構成されていてもよい。

また、参照する子階層ノードが常に復号済みとは限らないため、予測に必要な情報が不足する恐れがある。かかる情報の不足を補うために、イントラ予測部２１は、親階層ノードを利用した予測を行うように構成されていてもよい。

図７を参照して、かかる予測の一例について説明する。図７の例では、単純化のため、水平方向のみを考慮し、垂直方向の上部から見た子階層ノードを四角形で示す。斜線の四角形は、占有である子階層ノードを表し、白色の四角形は、非占有である子階層ノードを表す。

また、黒い太線で表される四角形は、親ノードを表し、黒い太点線で表される四角形は、親階層ノードを表す。

図７の例では、ｎ_１と書かれた子階層ノード及びｐ_１と書かれた親階層ノードは、共に占有であるものとする。 ｐ_１に含まれる子階層ノードは、まだ復号されておらず、かかる子階層ノードの占有状態は、不明である。

そして、ｎ_２と書かれた子ノードは、ｎ_１と面を共有するため、占有であると予測されている。なお、占有であると予測されることは、丸い記号を含むことで表現している。

ここで、星型の記号を含む子ノードの占有状態を予測することを考える。本実施形態では、イントラ予測部２１は、点群が連続的な物体の表面を表すと仮定し、占有であると予測される子ノードと占有である親階層ノードとの間に位置する子ノードは占有であると予測する。

なお，図７において、イントラ予測部２１は、ｎ_２が非占有であると予測される場合や、ｐ_１が非占有である場合には、星型の記号を含む子ノードは非占有と予測する。

このようにして、イントラ予測部２１は、親階層ノードを利用した予測を行うように構成されている。また、イントラ予測部２１は、垂直方向に対しても同様の方法で予測を行うように構成されていてもよい。

イントラ予測部２１は、同一の予測対象の子ノードに対して水平方向及び垂直方向で独立に予測を行う場合、どちらか一方でも占有であると予測すれば、予測対象の子ノードが占有であると予測してもよいし、両方とも占有であると予測した場合にのみ、予測対象の子ノードが占有であると予測してもよい。

なお，イントラ予測部２１は、必ずしも考えられる子ノードと親階層ノードとの位置関係の全ての組み合わせで、かかる予測を行う必要はなく、選択された一部の組み合わせに対してのみ、かかる予測を行うように構成されていてもよい。

ここでは、イントラ予測部２１は、上述の予測を用いて訓練用の点群データを符号化することにより、各組み合わせを選択する場合の圧縮性能と各組み合わせを選択しない場合の圧縮性能とを比較し、圧縮性能の改善度合いが大きい組み合わせを選択してもよいし、他の方法で選択してもよい。

なお，イントラ予測部２１は、上述した方法と同様に、予測対象の子ノードに占有スコアを累積加算し、閾値判定によって、予測対象の子ノードの占有状態を予測するように構成されていてもよい。

ここでは、イントラ予測部２１は、想定される組み合わせで、占有であると予測される子ノードと占有である親階層ノードとの間に位置する場合に「１」となり、それ以外の場合に「０」となる２値に、重みを乗算した値を占有スコアとする。

かかる占有スコアは、子階層ノードのみを利用して予測を行う場合の占有スコアと共通でもよい。ここでは、子階層ノードのみを利用する場合と親階層ノードを利用する場合とで異なる重みを用いてもよい。

[確率取得部２２]
確率取得部２２は、イントラ予測部２１から与えられる占有情報の予測等を用いて、算術復号部２３で復号されるノードに対応するデータの生起確率を取得するように構成されている。かかる生起確率は、固定値であってもよいし、適応的な変動値であってもよい。

確率取得部２２は、かかる生起確率を取得する際に、算術復号部２３で復号される子ノードの親ノードの近傍ノードの占有情報や、共通の親ノードを持つ８つの子ノードの占有情報のような他の情報を用いてもよい。

確率取得部２２は、取得した生起確率を算術復号部２３へ出力するように構成されている。

[算術復号部２３]
算術復号部２３は、入力ビットストリーム及び確率取得部２２によって与えられた生起確率を用いて、八分木データ（ビット列）を復号するように構成されている。

かかる八分木データは、０又は１の２値であってもよいし、それ以外であってもよい。

なお、本実施形態においては、全て又は一部の親ノードにおいて、かかる八分木データは、公知の四分木 (Ｑｕａｄ ｔｒｅｅ) データや二分木(Ｂｉｎａｒｙ ｔｒｅｅ) データに置き換えられてもよい。

[八分木復号部２４]
八分木復号部２４は、公知の八分木法に基づく復号手法を用いてビット列から幾何情報を復号するように構成されている。

すなわち、八分木復号部２４は、ある親ノードに含まれる８つの子ノードの占有情報を表す８つのビットが与えられた場合、ビットが「１」となる位置に子ノードを生成するように構成されている。

八分木復号部２４は、かかる処理を、上層から下層に向かって階層的に行い、最下層のノードの座標を、点群を表す幾何情報として出力するように構成されている。

なお、本実施形態においては、全て又は一部の親ノードにおいて、八分木法が、公知の四分木法や二分木法に置き換えられてもよい。

また、八分木復号部２４は、親ノードを基準として方位角が小さい位置にある子階層ノードが常に復号済みになるように、方位角の小さい順に親ノードを復号するように構成されていてもよい。

同様に、八分木復号部２４は、極角の小さい順に親ノードを復号するように構成されていてもよい。

[占有記憶部２５]
占有記憶部２５は、八分木復号部２４から与えられる占有である子ノードの位置情報を用いて、階層ごとの子ノードの占有状態を記憶するように構成されている。

占有記憶部２５は、イントラ予測部２１が利用するために、占有である子ノード毎に近傍に位置する子階層ノードの占有状態を記憶するように構成されていてもよい。

なお、八分木法では、現在の階層における子階層ノードは、１つ深い階層における親階層ノードとみなすことができる。

また、占有記憶部２５は、予めＬｉＤＡＲセンサの水平方向及び/又は垂直方向への走査範囲を分割しておき。分割された各範囲内に位置する子階層ノードの座標を記憶するように構成されていてもよい。

かかる情報は、イントラ予測部２１において参照すべき子階層ノードの位置を推定するために利用されてもよい。

本実施形態によれば、ＬｉＤＡＲセンサ等で計測される点群の位置推定に基づいて子階層ノードの占有状態から親ノードの８つの子ノードの占有状態を予測することができ、点群のイントラ予測の精度を改善し、圧縮性能を改善することができる。

なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

１０…点群処理システム
１００…点群符号化装置
２００…点群復号装置
２１…イントラ予測部
２２…確率取得部
２３…算術復号部
２４…八分木復号部
２５…占有記憶部

Claims (13)

1. ビットストリームから点群を復号するように構成されている点群復号装置であって、
   子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶するように構成されている占有記憶部と、
   前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測するように構成されているイントラ予測部と、を有することを特徴とする点群復号装置。
2. 前記占有記憶部は、親階層ノードが占有であるか否かを示す前記親階層ノードの占有情報を更に記憶するように構成されており、
   前記イントラ予測部は、前記子階層ノードの占有情報及び前記親階層ノードの占有情報を用いて、前記子ノードの占有情報を予測するように構成されていることを特徴とする請求項１に記載の点群復号装置。
3. 前記イントラ予測部は、占有である前記子階層ノードが近傍に存在する前記子ノードを占有であると予測するように構成されていることを特徴とする請求項１又は２に記載の点群復号装置。
4. 前記イントラ予測部は、占有であると予測された前記子ノードと占有である前記親階層ノードとの間に位置する前記子ノードを占有であると予測するように構成されていることを特徴とする請求項１～３のいずれか一項に記載の点群復号装置。
5. 前記イントラ予測部は、前記子ノードの位置からセンサの走査間隔分離れたレーザ光の経路上に位置する前記子階層ノードが占有である場合、前記子ノードを占有であると予測するように構成されていることを特徴とする請求項１～４のいずれか一項に記載の点群復号装置。
6. 前記イントラ予測部は、前記子ノードの位置からセンサの走査間隔分離れた点を含む前記子階層ノードの位置を推定し、前記位置を推定した前記子階層ノードが占有である場合、前記子ノードを占有であると予測するように構成されていることを特徴とする請求項１～５のいずれか一項に記載の点群復号装置。
7. 前記イントラ予測部は、前記子ノードの位置からセンサの走査間隔分離れたレーザ光が前記子ノードの内部を通過すると判定した場合、前記子ノードの近傍に位置する前記子階層ノードの内部を通過するレーザ光を、前記子ノードの位置からセンサの走査間隔分離れたレーザ光の代替とするように構成されていることを特徴とする請求項１～６のいずれか一項に記載の点群復号装置。
8. 前記イントラ予測部は、前記判定及び/又は前記子ノードの近傍に位置する前記子階層ノードの内部を通過するレーザ光の選定に、事前に計算されたルックアップテーブルを用いるように構成されていることを特徴とする請求項７に記載の点群復号装置。
9. 前記イントラ予測部は、前記子ノードからの距離によって、参照する前記子階層ノード及び/又は親階層ノードを選択するように構成されていることを特徴とする請求項１～８のいずれか一項に記載の点群復号装置。
10. 前記イントラ予測部は、イントラ予測を用いて訓練用の点群を符号化した場合の圧縮性能の改善度合いによって、参照する前記子階層ノード及び/又は親階層ノードを選択するように構成されていることを特徴とする請求項１～９のいずれか一項に記載の点群復号装置。
11. 前記占有記憶部は、センサの走査範囲を分割し、分割された各範囲内に位置する前記子階層ノードの座標を記憶するように構成されていることを特徴とする請求項１～１０のいずれか一項に記載の点群復号装置。
12. ビットストリームから点群を復号するように構成されている点群復号方法であって、
    子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶する工程と、
    前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測する工程と、を有することを特徴とする点群復号方法。
13. コンピュータを、ビットストリームから点群を復号するように構成されている点群復号装置として機能させるプログラムであって、
    前記点群復号装置は、
    子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶するように構成されている占有記憶部と、
    前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測するように構成されているイントラ予測部と、を有することを特徴とするプログラム。

Images