JP2022051968A - 情報処理装置および方法 - Google Patents

Abstract

【課題】３次元形状のオブジェクトについて所望の解像度の属性情報をより容易に得る情報処理装置及び方法を提供する。【解決手段】符号化装置１００において、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報を符号化する。また、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データを復号する。【選択図】図３

Description

本開示は、情報処理装置および方法に関し、特に、所望の解像度の属性情報をより容易に得ることができるようにした情報処理装置および方法に関する。

従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法が考えられた（例えば非特許文献１参照）。

ポイントクラウドを符号化するにはまず基本的に全体が含まれるボクセル（voxel）を決め、それを分割することで細分化し、データをビット列に落としていく。その１つとしてOctreeを用いるOctree符号化が考えられた。Octree符号化において幅優先での符号化を行うと復号時に途中で打ち切ることで容易に所望の解像度の点（位置情報）を得ることができる。

R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf

しかしながら、この方法の場合、所望の解像度の属性情報を得るためには、結果的に最終解像度まで復号する必要があり、処理を軽減することは困難であった。

本開示は、このような状況に鑑みてなされたものであり、より容易に所望の解像度の属性情報を得ることができるようにするものである。

本技術の一側面の情報処理装置は、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報を符号化する属性情報符号化部を備える情報処理装置である。

本技術の一側面の情報処理方法は、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報を符号化する情報処理方法である。

本技術の他の側面の情報処理装置は、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データを復号する属性情報復号部を備える情報処理装置である。

本技術の他の側面の情報処理方法は、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データを復号する情報処理方法である。

本技術の一側面の情報処理装置および方法においては、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報が符号化される。

本技術の他の側面の情報処理装置および方法においては、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データが復号される。

符号化装置の例を説明する図である。 復号装置の例を説明する図である。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 判定処理の流れの例を説明するフローチャートである。 ビットストリームの構造例を説明する図である。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 符号化装置の主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．属性情報の解像度スケーラビリティ
２．第１の実施の形態（符号化装置）
３．第２の実施の形態（復号装置）
４．第３の実施の形態（符号化装置）
５．付記

＜１．属性情報の解像度スケーラビリティ＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。

非特許文献１：（上述）
非特許文献２：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献４：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017

つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献３に記載されているQuad-Tree Block Structure、非特許文献４に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。

＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）や、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ（Mesh）等の３Ｄデータが存在した。

例えばポイントクラウドの場合、立体構造物（３次元形状のオブジェクト）を多数の点の集合（点群）として表現する。つまり、ポイントクラウドのデータ（ポイントクラウドデータとも称する）は、この点群の各点の位置情報や属性情報により構成される。属性情報には、例えば、色情報、反射率情報、法線情報等が含まれる。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精度で表現することができる。

＜Octree符号化＞
このようなポイントクラウドデータはそのデータ量が比較的大きいので、例えば非特許文献１に記載のように、符号化によるデータ量を圧縮することが考えられた。このポイントクラウドの符号化方法としてOctreeを構築することが考えられた。Octreeは、ポイントクラウドの３次元領域を木構造化したものである。このOctreeの各ノードの値が、ポイントクラウドの３次元領域の、そのノードに対応する部分領域におけるポイントの有無を示す。例えば、値「１」がポイントを内包する部分領域を示し、値「０」がポイントを内包しない部分領域を示す。Octreeでは、１ノードが８つの部分領域に対応する。つまり、Octreeの各ノードは、８ビットのデータにより構成され、その８ビットが８つの部分領域のポイントの有無を示す。

そして、Octreeの上位のノードは、そのノードに属する下位ノードに対応する８つの部分領域を１つにまとめた領域のポイントの有無を示す。つまり、下位ノードの部分領域の情報をまとめることにより上位ノードが生成される。なお、値が「０」のノード、すなわち、対応する８つの部分領域が全てポイントを内包しない場合、そのノードは削除される。

このようにすることにより、値が「０」でないノードからなる木構造（Octree）が構築される。つまり、Octreeは、各解像度の部分領域のポイントの有無を示すことができる。したがって、ポイントクラウドをOctree化して符号化することにより、復号の際により多様な解像度のポイントクラウドをより容易に復元することができる。つまり、より容易にポイントクラウドのスケーラビリティを実現することができる。

また、上述のように値が「０」のノードを省略することにより、ポイントが存在しない領域を低解像度化することができるので、さらなる情報量の増大の抑制（典型的には情報量の削減）を行うことができる。

＜スケーラビリティの実現＞
ところで、ポイントクラウドはその点の密度（つまり３次元空間における位置情報や属性情報の密度）が解像度となる。点の密度が高い程、高解像度となるが、情報量が増大するので処理の負荷が増大する。そのため、状況に応じて必要な解像度のポイントクラウドが得られる機能（解像度スケーラビリティとも称する）が求められた。

例えば、LiDARデータのような広範囲・大規模な点を含むポイントクラウドを再生する場合、一般的には、一部の範囲に注目しており、その他の範囲の情報の重要性は低い。したがって、全ての範囲を最高解像度で処理すると不要に処理の負荷を増大させてしまうおそれがあった。また遠近法としては、遠方に位置するオブジェクトは、手前のオブジェクトよりも低解像度である方が自然である。

このように、意図的に低解像度の情報が必要になる場合があり得る。例えば、データを全てscanし、最高解像度でポイントクラウドを再現してから必要な解像度となるように点を間引く方法が考えられるが、この方法では不要な処理が増大し、処理時間が不要に増大するおそれがあった。また多くのメモリを必要とする等、処理の負荷も増大するおそれがあった。

＜符号化装置＞
図１は、ポイントクラウドを符号化する従来の符号化装置の主な構成例を示すブロック図である。図１に示される符号化装置１０において、Octree化部１１は、外部からlod（Octreeの階層数）の指定を受け付け、ポイントクラウド２１の位置情報のOctreeを、指定された階層数（lod）で生成する。Octreeはその階層数によって最下位層のノードの数が決まる。つまり、Octreeの階層数によって解像度が決定される。つまり、Octree化部１１は、解像度の指定を受け付け、その指定された解像度の位置情報のOctreeを生成する。

点群再構成部１２は、そのOctreeから点群を再構築する。つまり、lodで制約された位置情報、すなわち、指定された解像度の位置情報が得られる。リカラー部１３は、再構築した点群（指定された解像度の位置情報）に対応するように、ポイントクラウド２１の属性情報をリカラー処理する。これにより、指定された解像度の属性情報が得られる。

位置情報符号化部１４は、Octree化部１１が生成した、指定された解像度の位置情報（のOctree）を符号化し、位置情報の符号化データを生成する。属性情報符号化部１５は、リカラー部１３により生成された指定された解像度の属性情報を符号化し、属性情報の符号化データを生成する。ビットストリーム生成部１６は、その位置情報の符号化データと属性情報の符号化データとを含むビットストリーム２２を生成し、出力する。つまり、ビットストリーム２２には、指定されたLoDで制約された解像度の符号化データが含まれる。

これに対してOctree符号化の場合、上位階層のノードから選択する幅優先で符号化を行うと復号時に途中で打ち切ることで容易に所望の解像度の点（位置情報）を得ることができる。

＜復号装置＞
図２は、ポイントクラウドの符号化データを復号する従来の復号装置の主な構成例を示すブロック図である。図２に示される復号装置３０は、例えば図１の符号化装置１０に対応し、符号化装置１０が生成したビットストリーム２２を復号する。

復号装置３０において、位置情報復号部３１は、ビットストリーム２２に含まれる位置情報の符号化データを復号し、指定されたLoDで制約された解像度の位置情報のOctreeを生成する。点群再構成部３２は、そのOctreeから点群を再構築する。つまり、指定されたLoDで制約された解像度の位置情報が得られる。

属性情報復号部３３は、ビットストリーム２２に含まれる属性情報の符号化データを復号し、指定されたLoDで制約された解像度の属性情報を生成する。ポイントクラウド生成部３４は、点群再構成部３２により生成された「指定されたLoDで制約された解像度の位置情報」に、属性情報復号部３３により生成された「指定されたLoDで制約された解像度の属性情報」を対応付けて、指定されたLoDで制約された解像度のポイントクラウド２３を生成する。

しかしながら、この方法の場合、所望の解像度の属性情報を得るためには、結果的に最終解像度まで復号する必要があり、処理を軽減することは困難であった。

例えば、Octree符号化の場合、元のボクセルを等分割し、その分割部分に含まれる点があるかないかをビットで表現していく。この分割レベルを制限することで解像度を変化させることができるが、元の点の位置情報をデコードした後の位置情報がずれる。そのために元の点が持つ色情報をそのまま使うことができなくなり、属性情報のマッピング（リカラー（recolor）とも称する）を行う必要が生じる。そのため、処理の負荷が増大するおそれがあった。

＜属性情報の解像度スケーラビリティ＞
そこで、属性情報も解像度で階層化して符号化・復号するようにする。このようにすることにより、属性情報の解像度スケーラビリティを実現することができ、より容易に所望の解像度の属性情報を得ることができるようにある。

＜２．第１の実施の形態＞
＜符号化装置＞
図３は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図３に示される符号化装置１００は、ポイントクラウド（３Ｄデータ）を符号化する装置である。符号化装置１００は、ポイントクラウドの属性情報を解像度に基づいて階層化して符号化する。

図３に示されるように、符号化装置１００は、Octree化部１０１、点群再構成部１０２－０乃至点群再構成部１０２－ｎ（ｎは自然数）、リカラー部１０３－０乃至リカラー部１０３－ｎ、位置情報符号化部１０４、属性情報符号化部１０５－０乃至属性情報符号化部１０５－ｎ、並びに、ビットストリーム生成部１０６を有する。

なお、以下において、点群再構成部１０２－０乃至点群再構成部１０２－ｎを互いに区別して説明する必要がない場合、点群再構成部１０２と称する。また、リカラー部１０３－０乃至リカラー部１０３－ｎを互いに区別して説明する必要がない場合、リカラー部１０３と称する。さらに、属性情報符号化部１０５－０乃至属性情報符号化部１０５－ｎを互いに区別して説明する必要がない場合、属性情報符号化部１０５と称する。

符号化装置１００は、属性情報の符号化に関するこれらの処理部を（ｎ＋１）個ずつ有する。点群再構成部１０２－０乃至点群再構成部１０２－ｎは、互いに異なる解像度について処理を行う。同様にリカラー部１０３－０乃至リカラー部１０３－ｎは、互いに異なる解像度について処理を行う。同様に属性情報符号化部１０５－０乃至属性情報符号化部１０５－ｎは、互いに異なる解像度について処理を行う。つまり、符号化装置１００は、属性情報を（ｎ＋１）種類の解像度に階層化して符号化する。

なお、点群再構成部１０２－０乃至点群再構成部１０２－ｎを一体化するようにしてもよい。つまり、１つの点群再構成部１０２が、（ｎ＋１）種類の解像度で処理を行うことができるようにしてもよい。同様に、リカラー部１０３－０乃至リカラー部１０３－ｎを一体化するようにしてもよい。つまり、１つのリカラー部１０３が、（ｎ＋１）種類の解像度で処理を行うことができるようにしてもよい。同様に、属性情報符号化部１０５－０乃至属性情報符号化部１０５－ｎを一体化するようにしてもよい。つまり、１つの属性情報符号化部１０５が、（ｎ＋１）種類の解像度で処理を行うことができるようにしてもよい。

Octree化部１０１は、符号化の処理対象であるポイントクラウド１２１の位置情報を取得する。Octree化部１０１は、その位置情報のOctreeを生成する。Octree化部１０１は、位置情報を最大解像度で（LoD制約無しに）Octree化する。Octree化部１０１は、生成したOctreeを点群再構成部１０２および位置情報符号化部１０４に供給する。

なお、Octree化部１０１によるOctreeは、解像度スケーラビリティを実現可能なものであればよい。例えばOctreeのスキャン方式は任意である。例えば、幅優先であってもよいし、深さ優先であってもよいし、それら以外であってもよいし、それらを組み合わせてもよい。内部構造的に分割するようにしてもよい。

点群再構成部１０２は、Octree化部１０１から供給されるOctreeを取得する。点群再構成部１０２は、そのOctreeから、所定の階層（レベル）で（所定のLoD制約の下）、点群を再構築する。つまり、点群再構成部１０２は、Octreeから所定の解像度の位置情報を生成する。点群再構成部１０２は、生成した点群（位置情報）をリカラー部１０３に供給する。

点群再構成部１０２－０乃至点群再構成部１０２－ｎは、互いに異なるLoD制約で（互いに異なる解像度で）、点群を再構築する。例えば、点群再構成部１０２－０は、レベルlod0で（lod0のLoD制約で）点群を再構築し、その点群（位置情報）をリカラー部１０３－０に供給する。点群再構成部１０２－１は、レベルlod1で（lod1のLoD制約で）点群を再構築し、その点群（位置情報）をリカラー部１０３－１に供給する。点群再構成部１０２－ｎは、レベルlodnで（lodnのLoD制約で）点群を再構築し、その点群（位置情報）をリカラー部１０３－ｎに供給する。このように、各点群再構成部１０２は、自身に設定されたレベルlodで（自身に設定されたLoD制約で）点群を再構築し、その点群（位置情報）を自身に対応するリカラー部１０３に供給する。

リカラー部１０３は、属性情報を解像度に基づいて階層化する。例えば、リカラー部１０３は、符号化の処理対象であるポイントクラウド１２１の属性情報を取得する。また、リカラー部１０３は、点群再構成部１０２から供給される点群（位置情報）を取得する。リカラー部１０３は、その属性情報を点群（位置情報）に対応させるようにリカラー処理する。

ここでリカラー処理は、属性情報を位置情報に対応付ける処理であり、この処理により、属性情報の解像度が位置情報と同一の解像度に変換される。具体的な処理内容は属性情報の内容等に依存する。例えば、属性情報が色情報（点の色を示す情報）を含む場合、リカラー処理は、その色の変換処理を含む。また、属性情報が法線や反射率等の情報を含む場合、それらの情報の変換処理を含む。また、これらの情報の変換方法は任意である。例えば、最近傍の点（処理対象の点に最も近い点）の情報を複製するようにしてもよいし、複数の近傍点（処理対象の点の近傍に位置する点）の情報を用いて導出する（例えば中央値や平均値等を適用する）ようにしてもよい。

つまり、リカラー部１０３は、属性情報の解像度を、点群（位置情報）と同一の解像度に変換する。換言するにリカラー部１０３は、点群（位置情報）と同一の解像度の属性情報を生成する。

リカラー部１０３－０乃至リカラー部１０３－ｎは、互いに異なるLoD制約で（互いに異なる解像度で）、リカラー処理を行う。つまり、リカラー部１０３－０乃至リカラー部１０３－ｎは、属性情報の解像度を互いに異なる解像度に変換する。例えば、リカラー部１０３－０は、点群再構成部１０２－０からlod0のLoD制約の点群（位置情報）を取得し、ポイントクラウド１２１の属性情報の解像度を、その位置情報の解像度であるレベルlod0の解像度に変換する（lod0のLoD制約で属性情報の解像度変換を行う）。リカラー部１０３－１は、点群再構成部１０２－１からlod1のLoD制約の点群（位置情報）を取得し、ポイントクラウド１２１の属性情報の解像度を、その位置情報の解像度であるレベルlod1の解像度に変換する（lod1のLoD制約で属性情報の解像度変換を行う）。リカラー部１０３－ｎは、点群再構成部１０２－ｎからlodnのLoD制約の点群（位置情報）を取得し、ポイントクラウド１２１の属性情報の解像度を、その位置情報の解像度であるレベルlodnの解像度に変換する（lodnのLoD制約で属性情報の解像度変換を行う）。このように、各リカラー部１０３は、自身に対応する点群再構成部１０２から点群（位置情報）を取得し、ポイントクラウド１２１の属性情報の解像度を、その位置情報と同じ解像度に変換する（自身に設定されたLoD制約で属性情報の解像度変換を行う）。

以上のように、リカラー部１０３は、属性情報を、Octreeの複数のレベルに対応させることにより、属性情報を階層化する。リカラー部１０３は、このように解像度を制御した属性情報を属性情報符号化部１０５に供給する。例えば、リカラー部１０３－０は、レベルlod0の解像度の属性情報（lod0のLoD制約の属性情報）を、属性情報符号化部１０５－０に供給する。リカラー部１０３－１は、レベルlod1の解像度の属性情報（lod1のLoD制約の属性情報）を、属性情報符号化部１０５－１に供給する。リカラー部１０３－ｎは、レベルlodnの解像度の属性情報（lodnのLoD制約の属性情報）を、属性情報符号化部１０５－ｎに供給する。このように、各リカラー部１０３は、生成した属性情報（自身に設定されたLoD制約の属性情報）を、自身に対応する属性情報符号化部１０５に供給する。

位置情報符号化部１０４は、Octree化部１０１から供給されるOctreeを取得する。位置情報符号化部１０４は、そのOctreeを符号化し、位置情報の符号化データを生成する。その際、LoD制約は不要である。例えば、位置情報符号化部１０４は、最大解像度で位置情報の符号化データを生成する。位置情報符号化部１０４は、生成した位置情報の符号化データをビットストリーム生成部１０６に供給する。

属性情報符号化部１０５は、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報を符号化する。例えば、属性情報符号化部１０５は、リカラー部１０３から供給される、解像度に基づいて階層化された属性情報を取得し、それを符号化し、属性情報の符号化データを生成する。属性情報符号化部１０５は、生成した属性情報の符号化データをビットストリーム生成部１０６に供給する。

属性情報符号化部１０５－０乃至属性情報符号化部１０５－ｎは、互いに異なる解像度の（互いに異なるLoD制約の）属性情報を符号化する。例えば、属性情報符号化部１０５－０は、リカラー部１０３－０から供給されるレベルlod0の解像度の属性情報（lod0のLoD制約の属性情報）を取得し、符号化する。属性情報符号化部１０５－０は、生成したレベルlod0の解像度の属性情報の符号化データ（lod0のLoD制約の属性情報の符号化データ）をビットストリーム生成部１０６に供給する。属性情報符号化部１０５－１は、リカラー部１０３－１から供給されるレベルlod1の解像度の属性情報（lod1のLoD制約の属性情報）を取得し、符号化する。属性情報符号化部１０５－１は、生成したレベルlod1の解像度の属性情報の符号化データ（lod1のLoD制約の属性情報の符号化データ）をビットストリーム生成部１０６に供給する。属性情報符号化部１０５－ｎは、リカラー部１０３－ｎから供給されるレベルlodnの解像度の属性情報（lodnのLoD制約の属性情報）を取得し、符号化する。属性情報符号化部１０５－ｎは、生成したレベルlodnの解像度の属性情報の符号化データ（lodnのLoD制約の属性情報の符号化データ）をビットストリーム生成部１０６に供給する。このように、各属性情報符号化部１０５は、自身に対応するリカラー部１０３から供給される属性情報（自身に設定されたLoD制約の属性情報）を取得し、符号化し、生成した属性情報の符号化データをビットストリーム生成部１０６に供給する。

なお、この属性情報の符号化方法は任意である。例えば、属性情報を２次元に投影し、２次元画像として、JPEG（Joint Photographic Experts Group）等の２次元画像用の符号化方式を用いて符号化するようにしてもよい。また、属性情報を非圧縮としてもよい。つまり、属性情報符号化部１０５を省略してもよい。

ビットストリーム生成部１０６は、属性情報の符号化データを含むビットストリームを生成する。例えば、ビットストリーム生成部１０６は、属性情報符号化部１０５から供給される属性情報の符号化データを取得する。ビットストリーム生成部１０６は、取得した属性情報の符号化データを含むビットストリーム１２２を生成する。

この属性情報符号化部１０５から供給される属性情報の符号化データは、解像度に基づいて階層化されている。例えば、ビットストリーム生成部１０６は、属性情報符号化部１０５－０から供給される、レベルlod0の解像度の属性情報の符号化データ（lod0のLoD制約の属性情報の符号化データ）を取得する。ビットストリーム生成部１０６は、属性情報符号化部１０５－１から供給される、レベルlod1の解像度の属性情報の符号化データ（lod1のLoD制約の属性情報の符号化データ）を取得する。ビットストリーム生成部１０６は、属性情報符号化部１０５－ｎから供給される、レベルlodnの解像度の属性情報の符号化データ（lodnのLoD制約の属性情報の符号化データ）を取得する。このように、ビットストリーム生成部１０６は、各属性情報符号化部１０５から供給される各解像度の属性情報の符号化データを取得する。ビットストリーム生成部１０６は、このように取得した全ての解像度の属性情報の符号化データを含む１本のビットストリーム１２２を生成する。つまり、ビットストリーム１２２は、各解像度の属性情報（LoD（0～n）で制約された解像度の属性情報）を含む。

さらに、ビットストリーム生成部１０６は、位置情報符号化部１０４から供給される位置情報の符号化データを取得する。ビットストリーム生成部１０６は、この取得した位置情報の符号化データも、ビットストリーム１２２に含める。

ビットストリーム生成部１０６は、生成したビットストリーム１２２を符号化装置１００の外部に出力する。

このような構成とすることにより、符号化装置１００は、属性情報を解像度に基づいて階層化して符号化することができるので、復号の際に所望の解像度の属性情報をより容易に得ることができるようにすることができる。

例えば、上位階層（粗い解像度）のデータも、属性情報を最下位層（最高解像度）まで全て復号する必要なく、容易に得ることができる。したがって、復号の処理時間の増大を抑制することができる。これにより、ポイントクラウドを２次元画像化して表示する際の処理時間の増大を抑制することができる（典型的には処理時間を短縮することができる）。

なお、以上においては、各リカラー部１０３が、それぞれリカラー処理を行うことにより、属性情報を（ｎ＋１）階層に階層化するように説明したが、このｎは任意の自然数であり、つまり属性情報の階層の設定（階層数）は任意である。例えば、位置情報の全ての階層について属性情報を生成する（属性情報の階層数を位置情報の階層数と同一にする）ようにしてもよいし、位置情報の一部の階層について属性情報を生成する（属性情報の階層数を位置情報の階層数よりも少なくする）ようにしてもよい。この属性情報の階層数は、予め定められていてもよいし、ユーザが設定することができるようにしてもよいし、符号化対象のポイントクラウド（の位置情報）に基づいて設定されるようにしてもよい。

属性情報の階層数を低減させる（属性情報の階層数を位置情報の階層数よりも少なくする）場合、位置情報に、自身に対応する属性情報が存在しない階層が生じる。そのような階層で復号する場合、属性情報は、任意の方法で導出するようにしてもよい。例えば、処理対象の階層よりも上位の階層の属性情報を用いて、処理対象の階層の属性情報を生成するようにしてもよい。例えば、上位の階層の属性情報を複製するようにしてもよいし、さらにフィルタリングを行ってより自然な変化となるようにしてもよい。また、例えば、処理対象の階層よりも下位の階層の属性情報を用いて、処理対象の階層の属性情報を生成するようにしてもよい。例えば、下位の階層の属性情報を複製するようにしてもよいし、下位の階層の複数の属性情報を用いて導出する（例えば平均値や中央値等を適用する）ようにしてもよいし、さらにフィルタリングを行ってより自然な変化となるようにしてもよい。

また、属性情報の階層数を位置情報の階層数よりも少なくする場合、属性情報を位置情報のどの階層に対応させるか（位置情報のどの階層に対応する属性情報を生成するか）は任意である。例えば、属性情報を位置情報のどの階層に対応させて生成するかが予め設定されているようにしてもよいし、ユーザ等が設定することができるようにしてもよい。

また、符号化するポイントクラウド（の位置情報）に応じて設定されるようにしてもよい。例えば、位置情報のOctreeの、所定の条件を満たす有効なレベルに対応させるように属性情報を生成するようにしてもよい。

例えば、点群再構成部１０２が、処理対象の階層がその有効なレベルであるか否かを判定し、有効なレベルであると判定された階層について、リカラー部１０３がリカラー処理を行うようにしてもよい。例えば、各点群再構成部１０２が、自身に設定された階層（LoD制約）が、位置情報のOctreeの有効なレベルであるか否かを判定し、有効なレベルであると判定した点群再構成部１０２に対応するリカラー部１０３が、その点群再構成部１０２から点群（位置情報）を取得し、リカラー処理を行うようにしてもよい。

なお、有効なレベルであるか否かの判定基準となる所定の条件は任意である。例えば、点群再構成部１０２が、点数が所定の閾値より多く、かつ、点数がOctreeの１つ上位のレベルの２倍以上であるレベルを有効なレベルと判定するようにしてもよい。

このようにすることにより、符号化するポイントクラウド（の位置情報）に応じて、より効果的な階層にのみ属性情報を生成することができる。したがって、上位の階層と比べて情報の変化が少ない階層について属性情報の作成を抑制することができるので、不要な符号化効率の低減を抑制することができる。

＜符号化処理の流れ＞
次に、この符号化装置１００により実行される符号化処理の流れの例を、図４のフローチャートを参照して説明する。

符号化処理が開始されると、符号化装置１００のOctree化部１０１は、ステップＳ１０１において、位置情報のOctreeを生成する。

ステップＳ１０２において、点群再構成部１０２は、処理対象の階層（レベル）を示す変数lodを初期値（例えば「０」）に設定する。

ステップＳ１０３において、点群再構成部１０２は、変数lodの値が最終解像度を超えたか否か、つまり最下位層まで処理したか否かを判定する。未処理の階層が存在すると判定された場合、処理はステップＳ１０４に進む。

ステップＳ１０４において、処理対象の階層に対応する点群再構成部１０２（変数lodのLoD制約の点群再構成部１０２）は、変数lodにより示される階層の点群（変数lodのLoD制約の点群）を生成する。

ステップＳ１０５において、点群再構成部１０２は、その変数lodにより示される階層が、所定の条件を満たす有効なレベルであるか否かを判定するための判定処理を実行する。そして、ステップＳ１０６において、点群再構成部１０２は、その処理結果に基づいて、変数lodにより示される階層が有効なレベルであるか否かを判定する。有効なレベルであると判定された場合、処理はステップＳ１０７に進む。

ステップＳ１０７において、リカラー部１０３は、その階層（変数lodにより示される階層）について、リカラー処理を行い、位置情報に属性情報を対応させる。ステップＳ１０８において、リカラー部１０３は、生成した属性情報（すなわち、変数lodにより示される階層の属性情報）を保存する。ステップＳ１０８の処理が終了すると、処理はステップＳ１０９に進む。

また、ステップＳ１０６において、変数lodにより示される階層が有効なレベルでないと判定された場合、ステップＳ１０７およびステップＳ１０８の処理が省略（スキップ）され、処理はステップＳ１０９に進む。

ステップＳ１０９において、点群再構成部１０２は、変数lodの値を「＋１」インクリメントする（lod = lod + 1）。つまり、処理対象の階層を１つ下位に移動させる。ステップＳ１０９の処理が終了すると処理はステップＳ１０３に戻る。つまり、ステップＳ１０３乃至ステップＳ１０９の各処理が、適宜、位置情報のOctreeの各階層について実行される。

そして、ステップＳ１０３において、全ての階層について処理を行ったと判定された場合、処理はステップＳ１１０に進む。

ステップＳ１１０において、位置情報符号化部１０４は、位置情報のOctreeを符号化し、位置情報の符号化データを生成する。

ステップＳ１１１において、属性情報符号化部１０５は、ステップＳ１０８において保存された有効なレベルの属性情報を符号化し、有効なレベルの属性情報の符号化データを生成する。つまり、属性情報符号化部１０５は、解像度に基づいて階層化された属性情報を符号化する。

ステップＳ１１２において、ビットストリーム生成部１０６は、ステップＳ１１０において生成された位置情報の符号化データと、ステップＳ１１１において生成された属性情報の符号化データとを含むビットストリームを生成し、出力する。

ステップＳ１１２の処理が終了すると、符号化処理が終了する。

＜判定処理の流れ＞
次に、図４のステップＳ１０５において実行される判定処理の流れの例を、図５のフローチャートを参照して説明する。

判定処理が開始されると、点群再構成部１０２は、ステップＳ１３１において、Octreeの処理対象の階層の１つ上位の階層のノード数（点数）を示す変数p_pointを初期化する。ステップＳ１３２において、点群再構成部１０２は、位置情報のOctreeの変数lodの階層のポイント数（ノード数）を、Octreeの処理対象の階層のノード数（点数）を示す変数pointにセットする。

ステップＳ１３３において、点群再構成部１０２は、変数pointが所定の閾値より大きいか否かを判定する。つまり、点群再構成部１０２は、Octreeの処理対象の階層のノード数（位置情報の数）が所定の閾値より多いか否かを判定する。変数pointが所定の閾値より大きいと判定された場合、処理はステップＳ１３４に進む。

ステップＳ１３４において、点群再構成部１０２は、変数pointが変数p_pointの２倍（2xp_point）より大きいか否かを判定する。つまり、点群再構成部１０２は、Octreeの処理対象の階層のノード数が、その１つ上位の階層のノード数の２倍より多いか否かを判定する。変数pointが変数p_pointの２倍より大きいと判定された場合、処理はステップＳ１３５に進む。

ステップＳ１３５において、点群再構成部１０２は、変数pointの値を変数p_pointにセットする。

ステップＳ１３６において、点群再構成部１０２は、処理対象の階層を有効なレベルであると判定する。つまり、点群再構成部１０２は、点数が十分に多く、かつ、１つ上位の階層に比べて点数が大幅に増大している階層を有効なレベルと判定する。ステップＳ１３６の処理が終了すると、判定処理が終了し、処理は図４に戻る。

また、ステップＳ１３３において、変数pointが所定の閾値以下である、すなわち、点数（ノード数）が少ないと判定された場合、処理はステップＳ１３７に進む。また、ステップＳ１３４において、変数pointが変数p_pointの２倍（2xp_point）以下である、すなわち、１つ上位の階層に比べて点数があまり増大していないと判定された場合、処理はステップＳ１３７に進む。

ステップＳ１３７において、点群再構成部１０２は、処理対象の階層を無効なレベルであると判定する。つまり、点群再構成部１０２は、点数が少ない階層、または、１つ上位の階層に比べて点数があまり増大していない階層を無効なレベルと判定する。ステップＳ１３７の処理が終了すると、判定処理が終了し、処理は図４に戻る。

以上のように各処理を実行することにより、符号化装置１００は、属性情報を解像度に基づいて階層化して符号化することができる。したがって、復号の際に所望の解像度の属性情報をより容易に得ることができる。

＜ビットストリーム構造＞
図６は、以上のように符号化装置１００により生成されたビットストリームの主な構成例を示す図である。図６に示されるビットストリーム２００は、図３のビットストリーム１２２に対応する。

図６に示されるように、ビットストリーム２００は、スタートコード（start_code）２０１、シーケンスヘッダ情報（seq_Header_info）２０２、位置情報（geo_data）２０３、並びに、属性情報（color_data(0)）２０４－０乃至属性情報（color_data(n)）２０４－ｎを有する。

スタートコード２０１は、ビットストリーム２００の開始位置を示す所定のビット列により構成される。シーケンスヘッダ情報２０２は、シーケンスのヘッダ情報であり、このビットストリーム２００の管理情報等を含む。位置情報２０３は、ポイントクラウドの点の位置情報であり、例えば座標等を含む。属性情報２０４－０乃至属性情報２０４－ｎは、ポイントクラウドの点の階層毎（解像度毎）の属性情報であり、それぞれ、例えば色情報、法線情報、反射率情報等を含む。なお、属性情報２０４－０乃至属性情報２０４－ｎを互いに区別して説明する必要が無い場合、属性情報２０４と称する。このように、ビットストリーム２０において、属性情報２０４は階層毎（解像度毎）に分けて管理される。

例えば、シーケンスヘッダ情報２０２は、シーケンス情報（seq_info）２１１、解像度モードフラグ（reso_mode flag）２１２、並びに解像度情報（reso(0)_info）２１３－０乃至解像度情報（reso(n)_info）２１３－ｎを有する。

シーケンス情報２１１は、シーケンスに関する情報を含む。解像度モードフラグ２１２は、属性情報２０４のデータ構造のモード（例えば属性情報２０４が階層化されているか否か等）を示すフラグ情報である。解像度情報２１３－０乃至解像度情報２１３－ｎは、各解像度に関する情報を含む。つまり、各解像度に関する情報が、解像度毎にまとめられている。なお、解像度情報２１３－０乃至解像度情報２１３－ｎを互いに区別して説明する必要が無い場合、解像度情報２１３と称する。

例えば、解像度情報２１３は、解像度識別番号（reso_no）２２１、ポイントクラウドLoDレベル（point cloud LoD level）２２２、ポイントクラウド解像度情報（point cloud reslution）２２３、属性情報場所情報（color_data_location(offset/address)）２２４、追加情報（additional_info）２２５を有する。

解像度識別番号２２１は、この解像度情報２１３を識別する識別情報（例えば番号）である。ポイントクラウドLoDレベル２２２は、この解像度情報２１３に対応するOctreeの階層を示す情報を含む。ポイントクラウド解像度情報２２３は、この解像度情報２１３に対応する解像度を示す情報を含む。属性情報場所情報２２４は、このビットストリーム２００における各解像度の属性情報２０４の位置を示す情報（ポインタ）である。属性情報２０４の位置は、例えば、先頭からのオフセット（offset）で示すようにしてもよいし、アドレス（address）で示すようにしてもよい。追加情報２２５は、この解像度に関する任意の情報を含むことができる。

例えば、位置情報２０３は、スタートコード（start_code）２３１、ヘッダ情報（header_info）２３２、ポイントクラウド位置情報（point cloud position info）２３３、および追加プロパティ情報（additional property info）２３４を有する。

スタートコード２３１は、位置情報２０３の開始を示す所定のビット列により構成される。ヘッダ情報２３２は、この位置情報２０３のヘッダ情報であり、この位置情報２０３に関する管理情報等を含む。ポイントクラウド位置情報２３３は、各点の位置情報を含む。追加プロパティ情報２３４は、位置情報に関する任意の情報を含むことができる。

例えば、属性情報２０４は、スタートコード（start_code）２４１、ヘッダ情報（Header_info）２４２、ポイントクラウド属性情報（point cloud color info）２４３、および追加プロパティ情報（additional property info）２４４を有する。

スタートコード２４１は、この属性情報２０４の開始を示す所定のビット列により構成される。ヘッダ情報２４２は、この属性情報２０４のヘッダ医情報であり、この属性情報２０４に関する管理情報等を含む。ポイントクラウド属性情報２４３は、この解像度の各点の属性情報を含む。追加プロパティ情報２４４は、この解像度の属性情報に関する任意の情報を含むことができる。

＜３．第２の実施の形態＞
＜復号装置＞
図７は、本技術を適用した情報処理装置の一態様である復号装置の構成の一例を示すブロック図である。図７に示される復号装置３００は、ポイントクラウド（３Ｄデータ）の符号化データを復号する装置である。復号装置３００は、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データを復号する。つまり、復号装置３００は、解像度スケーラビリティに対応する。例えば、復号装置３００は、図３の符号化装置１００により生成されたビットストリーム１２２を復号し、所望の解像度のポイントクラウドを生成する。

図７に示されるように、復号装置３００は、ストリーム分解部３０１、lod指定受付部３０２、位置情報復号部３０３、点群再構成部３０４－０乃至点群再構成部３０４－ｎ（ｎは自然数）、属性情報復号部３０５－０乃至属性情報復号部３０５－ｎ、並びに、ポイントクラウド生成部３０６－０乃至ポイントクラウド生成部３０６－ｎを有する。

なお、以下において、点群再構成部３０４－０乃至点群再構成部３０４－ｎを互いに区別して説明する必要がない場合、点群再構成部３０４と称する。また、属性情報復号部３０５－０乃至属性情報復号部３０５－ｎを互いに区別して説明する必要がない場合、属性情報復号部３０５と称する。さらに、ポイントクラウド生成部３０６－０乃至ポイントクラウド生成部３０６－ｎを互いに区別して説明する必要がない場合、ポイントクラウド生成部３０６と称する。

復号装置３００は、位置情報や属性情報の符号化データの復号に関するこれらの処理部を（ｎ＋１）個ずつ有する。点群再構成部３０４－０乃至点群再構成部３０４－ｎは、互いに異なる解像度について処理を行う。同様に属性情報復号部３０５－０乃至属性情報復号部３０５－ｎは、互いに異なる解像度について処理を行う。同様にポイントクラウド生成部３０６－０乃至ポイントクラウド生成部３０６－ｎは、互いに異なる解像度について処理を行う。つまり、復号装置３００は、ビットストリーム（位置情報および属性情報の符号化データ）を（ｎ＋１）種類の解像度で復号することができる。

点群再構成部３０４－０、属性情報復号部３０５－０、およびポイントクラウド生成部３０６－０は、階層復号部３１０－０を構成する。点群再構成部３０４－１、属性情報復号部３０５－１、およびポイントクラウド生成部３０６－１は、階層復号部３１０－１を構成する。点群再構成部３０４－ｎ、属性情報復号部３０５－ｎ、およびポイントクラウド生成部３０６－ｎは、階層復号部３１０－ｎを構成する。このように、各解像度に対応する点群再構成部３０４、属性情報復号部３０５、およびポイントクラウド生成部３０６は、その解像度に対応する階層復号部３１０を構成する。

つまり、復号装置３００は、互いに異なる解像度について処理を行う階層復号部３１０－０乃至階層復号部３１０－ｎを有する。以下において、階層復号部３１０－０乃至階層復号部３１０－ｎを互いに区別して説明する必要がない場合、階層復号部３１０と称する。

ストリーム分解部３０１は、ビットストリーム１２２を分解し、位置情報の符号化データおよび属性情報の符号化データを抽出する。ストリーム分解部３０１は、抽出した位置情報の符号化データを位置情報復号部３０３に供給する。また、ストリーム分解部３０１は、抽出した属性情報の符号化データを属性情報復号部３０５に供給する。

lod指定受付部３０２は、例えばユーザや外部の装置等により入力される、復号する解像度（レベル（lod））を指定する制御指示を受け付ける。lod指定受付部３０２は、受け付けた制御指示（lod）を位置情報復号部３０３および階層復号部３１０に供給する。

位置情報復号部３０３は、lod指定受付部３０２から供給される制御指示（lod）により指定される解像度（レベル）で、ストリーム分解部３０１から供給される位置情報の符号化データを復号し、制御指示により指定される解像度（レベル）の位置情報（Octree）を生成する。第１の実施の形態において説明したように、この符号化データにおいて位置情報はOctree化されて符号化されている。したがって、位置情報復号部３０３は、容易に所望のlodの位置情報（Octree）を生成することができる。なお、位置情報の符号化データの復号方法は任意である。例えば、幅優先のOctreeの符号化データの場合、位置情報復号部３０３が復号しながら指定されるレベルで復号を終了するようにしてもよい。また、符号化の際に階層別に終端コード等を入れておき、位置情報復号部３０３がこの終端コードを用いて終了位置を特定するようにしてもよい。このようにすることにより、終了判断を容易にすることができる。位置情報復号部３０３は、生成した位置情報（Octee）を点群再構成部３０４に供給する。

階層復号部３１０は、自身に設定された解像度でビットストリーム１２２を復号し、自身に設定された解像度のポイントクラウド３２３を生成する。例えば、階層復号部３１０－０は、ビットストリーム１２２を復号し、lod0で制約された解像度のポイントクラウド３２３－０を生成する。階層復号部３１０－１は、ビットストリーム１２２を復号し、lod1で制約された解像度のポイントクラウド３２３－１を生成する。階層復号部３１０－ｎは、ビットストリーム１２２を復号し、lodnで制約された解像度のポイントクラウド３２３－ｎを生成する。なお、以下において、ポイントクラウド３２３－１乃至ポイントクラウド３２３－ｎを互いに区別して説明する必要が無い場合、ポイントクラウド３２３と称する。

点群再構成部３０４は、位置情報復号部３０３から供給される位置情報を用いて点群を再構築する。つまり、点群再構成部３０４は、位置情報を変換して、制御指示により指定される解像度の点群を生成する。点群再構成部３０４は、その点群をポイントクラウド生成部３０６に供給する。

属性情報復号部３０５は、ストリーム分解部３０１から供給される属性情報の符号化データを復号し、制御指示により指定される解像度の属性情報を生成する。第１の実施の形態において説明したように、この符号化データにおいて、属性情報は解像度に基づいて階層化されている。つまり、属性情報復号部３０５は、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データを復号する。したがって、属性情報復号部３０５は、符号化データを最高解像度まで復号せずに、所望の解像度の属性情報を生成することができる。なお、属性情報の復号方法は、符号化装置１００の符号化方法に対応するものであれば任意である。また、属性情報を符号化しない場合、この属性情報復号部３０５を省略することもできる。また、制御指示により指定される解像度に属性情報が存在しない場合、属性情報を生成するようにしてもよい。その方法は任意である。例えば、処理対象の階層よりも上位の階層の属性情報を用いて、処理対象の階層の属性情報を生成するようにしてもよい。例えば、上位の階層の属性情報を複製するようにしてもよいし、さらにフィルタリングを行ってより自然な変化となるようにしてもよい。また、例えば、処理対象の階層よりも下位の階層の属性情報を用いて、処理対象の階層の属性情報を生成するようにしてもよい。例えば、下位の階層の属性情報を複製するようにしてもよいし、下位の階層の複数の属性情報を用いて導出する（例えば平均値や中央値等を適用する）ようにしてもよいし、さらにフィルタリングを行ってより自然な変化となるようにしてもよい。属性情報復号部３０５は、生成した属性情報をポイントクラウド生成部３０６に供給する。

ポイントクラウド生成部３０６は、点群再構成部３０４から供給された位置情報に、属性情報復号部３０５から供給された属性情報を対応付け、指定された解像度（レベル）のポイントクラウド３２３を生成し、復号装置３００の外部に出力する。

このような階層復号部３１０に対して、lod指定受付部３０２は、受け付けた制御指示（lod）を、その制御指示により指定される解像度に対応する階層復号部３１０に供給する。また、位置情報復号部３０３は、生成した位置情報を、その解像度（つまり制御指示により指定される解像度）に対応する階層復号部３１０に供給する。したがって、これらの情報を供給された階層復号部３１０、すなわち、制御指示により指定される解像度に対応する階層復号部３１０が、上述のように駆動し、ポイントクラウドを生成する。

例えば、制御指示によりレベルlod0が指定された場合、lod指定受付部３０２は、その制御指示を階層復号部３１０－０に供給する。また、位置情報復号部３０３は、位置情報の符号化データを復号し、lod0で制約された位置情報（Octree）を生成する。位置情報復号部３０３は、そのlod0で制約された位置情報（Octree）を点群再構成部３０４－０に供給する。点群再構成部３０４－０は、その位置情報を用いてlod0で制約された解像度の点群を再構築し、ポイントクラウド生成部３０６に供給する。また、属性情報復号部３０５－０は、ストリーム分解部３０１から供給される属性情報の符号化データを復号し、lod0で制約された解像度の属性情報を生成する。属性情報復号部３０５－０は、その属性情報をポイントクラウド生成部３０６に供給する。ポイントクラウド生成部３０６は、点群再構成部３０４－０から供給された点群に、属性情報復号部３０５－０から供給された属性情報を対応付け、lod0で制約された解像度のポイントクラウド３２３－０を生成し、出力する。

また、例えば、制御指示によりレベルlod1が指定された場合、lod指定受付部３０２は、その制御指示を階層復号部３１０－１に供給する。また、位置情報復号部３０３は、位置情報の符号化データを復号し、lod1で制約された位置情報（Octree）を生成する。位置情報復号部３０３は、そのlod1で制約された位置情報（Octree）を点群再構成部３０４－１に供給する。点群再構成部３０４－１は、その位置情報を用いてlod1で制約された解像度の点群を再構築し、ポイントクラウド生成部３０６に供給する。また、属性情報復号部３０５－１は、ストリーム分解部３０１から供給される属性情報の符号化データを復号し、lod1で制約された解像度の属性情報を生成する。属性情報復号部３０５－１は、その属性情報をポイントクラウド生成部３０６に供給する。ポイントクラウド生成部３０６は、点群再構成部３０４－１から供給された点群に、属性情報復号部３０５－１から供給された属性情報を対応付け、lod1で制約された解像度のポイントクラウド３２３－１を生成し、出力する。

また、例えば、制御指示によりレベルlodnが指定された場合、lod指定受付部３０２は、その制御指示を階層復号部３１０－ｎに供給する。また、位置情報復号部３０３は、位置情報の符号化データを復号し、lodnで制約された位置情報（Octree）を生成する。位置情報復号部３０３は、そのlodnで制約された位置情報（Octree）を点群再構成部３０４－ｎに供給する。点群再構成部３０４－ｎは、その位置情報を用いてlodnで制約された解像度の点群を再構築し、ポイントクラウド生成部３０６に供給する。また、属性情報復号部３０５－ｎは、ストリーム分解部３０１から供給される属性情報の符号化データを復号し、lodnで制約された解像度の属性情報を生成する。属性情報復号部３０５－ｎは、その属性情報をポイントクラウド生成部３０６に供給する。ポイントクラウド生成部３０６は、点群再構成部３０４－ｎから供給された点群に、属性情報復号部３０５－ｎから供給された属性情報を対応付け、lodnで制約された解像度のポイントクラウド３２３－ｎを生成し、出力する。

このようにビットストリーム１２２が復号され、制御指示により指定される解像度のポイントクラウドが生成される。

なお、点群再構成部３０４－０乃至点群再構成部３０４－ｎを一体化するようにしてもよい。つまり、１つの点群再構成部３０４が、（ｎ＋１）種類の解像度で処理を行うことができるようにしてもよい。同様に、属性情報復号部３０５－０乃至属性情報復号部３０５－ｎを一体化するようにしてもよい。つまり、１つの属性情報復号部３０５が、（ｎ＋１）種類の解像度で処理を行うことができるようにしてもよい。同様に、ポイントクラウド生成部３０６－０乃至ポイントクラウド生成部３０６－ｎを一体化するようにしてもよい。つまり、１つのポイントクラウド生成部３０６が、（ｎ＋１）種類の解像度で処理を行うことができるようにしてもよい。つまり、階層復号部３１０－０乃至階層復号部３１０－ｎを一体化するようにしてもよい。つまり、１つの階層復号部３１０が、（ｎ＋１）種類の解像度で処理を行うことができるようにしてもよい。

このような構成とすることにより、復号装置３００は、所望の解像度の属性情報をより容易に得ることができる。

＜復号処理の流れ＞
図８のフローチャートを参照して、この復号装置３００により実行される復号処理の流れの例を説明する。

復号処理が開始されると、lod指定受付部３０２は、ステップＳ３０１において、変数lodの指定を受け付ける。ステップＳ３０２において、属性情報復号部３０５は、ステップＳ３０１において指定された変数lodを変数do_lodにセットする。

ステップＳ３０３において、属性情報復号部３０５は、変数do_lodの階層の属性情報が存在するか否かを判定する。存在しないと判定された場合、処理はステップＳ３０４に進む。

ステップＳ３０４において、属性情報復号部３０５は、変数do_lodの値を「＋１」インクリメントする（do_lod = do_lod + 1）。ステップＳ３０４の処理が終了すると、処理はステップＳ３０３に戻る。ステップＳ３０３において属性情報が存在すると判定された場合、処理はステップＳ３０５に進む。つまり、変数do_lodを属性情報が存在する階層に設定する。

ステップＳ３０５において、属性情報復号部３０５は、do_lodレベルの属性情報の符号化データを復号する。第１の実施の形態において説明したように、この符号化データにおいて、属性情報は解像度に基づいて階層化されている。つまり、属性情報復号部３０５は、３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データを復号する。

ステップＳ３０６において、位置情報復号部３０３は、do_lodレベルまで位置情報（Octree）の符号化データを復号する。

ステップＳ３０７において、点群再構成部３０４は、ステップＳ３０６において生成されたdo_lodレベルまでの位置情報（Octree）を用いてdo_lodで制約された解像度の点群を生成する。

ステップＳ３０８において、ポイントクラウド生成部３０６は、ステップＳ３０７において生成された点群と、ステップＳ３０５において生成された属性情報とを対応付けて、do_lodで制約された解像度のポイントクラウドを生成する。

ステップＳ３０９において、ポイントクラウド生成部３０６は、変数lodと変数do_lodとが不一致であるか否かを判定する。これらの変数の値が一致しない場合、処理はステップＳ３１０に進む。

ステップＳ３１０において、ポイントクラウド生成部３０６は、生成したポイントクラウドの解像度をdo_lodレベルからlodレベルに変換する。ステップＳ３１０の処理が終了すると復号処理が終了する。

また、ステップＳ３０９において、変数lodと変数do_lodとで値が一致すると判定された場合、復号処理が終了する。

このようにすることにより、復号装置３００は、所望の解像度の属性情報をより容易に得ることができる。

＜４．第３の実施の形態＞
＜符号化装置＞
第１の実施の形態のように、属性情報を解像度に基づいて階層化して符号化する場合、属性情報の解像度毎に、ビットストリームを分けるようにしてもよい。

図９は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図９に示される符号化装置４００は、符号化装置１００と同様に、ポイントクラウドの属性情報を解像度に基づいて階層化して符号化する。ただし、符号化装置４００は、解像度に基づいて階層化した属性情報の解像度毎にビットストリームを生成する。

符号化装置４００は、基本的に符号化装置１００と同様の構成を有する。ただし、符号化装置４００は、符号化装置１００のOctree化部１０１の代わりに、Octree化部４０１－０乃至Octree化部４０１－ｎを有する。Octree化部４０１－０乃至Octree化部４０１－ｎは、それぞれ自身に設定された解像度（レベル）で位置情報をOctree化する。また、符号化装置４００は、符号化装置１００の位置情報符号化部１０４の代わりに、位置情報符号化部４０４－０乃至位置情報符号化部４０４－ｎを有する。位置情報符号化部４０４－０乃至位置情報符号化部４０４－ｎは、Octree化部４０１－０乃至Octree化部４０１－ｎにより生成された位置情報（Octree）を符号化し、それぞれ自身に設定された解像度（レベル）の位置情報（Octree）の符号化データを生成する。

また、符号化装置４００は、符号化装置１００のビットストリーム生成部１０６の代わりに、ビットストリーム生成部４０６－０乃至ビットストリーム生成部４０６－ｎを有する。ビットストリーム生成部４０６－０乃至ビットストリーム生成部４０６－ｎは、それぞれ自身に設定された解像度（レベル）の符号化データを含むビットストリーム４２２（ビットストリーム４２２－０乃至ビットストリーム４２２－ｎ）を生成する。つまり、ビットストリーム生成部４０６は、互いに異なる階層の属性情報の符号化データを含む複数のビットストリームを生成する。

つまり、階層符号化部４１０－０がレベルlod0で符号化を行い、階層符号化部４１０－１がレベルlod1で符号化を行い、階層符号化部４１０－ｎがレベルlodnで符号化を行う。

このような構成とすることにより、符号化装置４００は、解像度毎のビットストリームを生成することができる。

＜５．付記＞
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。

＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図１０に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。

また、以上においては、本技術の適用例として符号化装置１００、復号装置３００、および符号化装置４００について説明したが、本技術は、任意の構成に適用することができる。

例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） ３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報を符号化する属性情報符号化部
を備える情報処理装置。
（２） 前記属性情報を解像度に基づいて階層化する階層化部をさらに備え、
前記属性情報符号化部は、前記階層化部により解像度に基づいて階層化された前記属性情報を符号化する
（１）に記載の情報処理装置。
（３） 前記階層化部は、前記属性情報を、前記ポイントクラウドの位置情報のOctreeの複数のレベルに対応させることにより、前記属性情報を階層化する
（２）に記載の情報処理装置。
（４） 前記階層化部は、前記属性情報を、前記Octreeの、所定の条件を満たす有効なレベルに対応させることにより、前記属性情報を階層化する
（３）に記載の情報処理装置。
（５） 前記Octreeの各レベルについて、前記有効なレベルであるかを判定する判定部をさらに備え、
前記階層化部は、前記属性情報を、前記Octreeの、前記判定部により前記有効なレベルと判定されたレベルに対応させる
（４）に記載の情報処理装置。
（６） 前記判定部は、点数が所定の閾値より多く、かつ、点数が前記Octreeの１つ上位のレベルの２倍以上であるレベルを前記有効なレベルと判定する
（５）に記載の情報処理装置。
（７） 前記階層化部は、前記Octreeの、前記属性情報を対応させるレベルに応じて、前記属性情報に含まれる色情報の変換を行う
（３）に記載の情報処理装置。
（８） 前記位置情報の前記Octreeを生成するOctree生成部をさらに備える
（３）に記載の情報処理装置。
（９） 前記位置情報の前記Octreeを符号化する位置情報符号化部をさらに備える
（３）に記載の情報処理装置。
（１０） 前記属性情報符号化部により生成された前記属性情報の符号化データを含むビットストリームを生成する生成部をさらに備える
（１）に記載の情報処理装置。
（１１） 前記生成部は、前記属性情報符号化部により生成された、全階層の前記属性情報の符号化データを含む１本の前記ビットストリームを生成する
（１０）に記載の情報処理装置。
（１２） 前記生成部は、前記属性情報符号化部により生成された、互いに異なる階層の前記属性情報の符号化データを含む複数の前記ビットストリームを生成する
（１０）に記載の情報処理装置。
（１３） 前記生成部は、前記ポイントクラウドの位置情報の符号化データもさらに含む前記ビットストリームを生成する
（１０）に記載の情報処理装置。
（１４） ３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報を符号化する
情報処理方法。

（１５） ３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データを復号する属性情報復号部
を備える情報処理装置。
（１６） 復号するレベルを指定する制御指示を受け付けるレベル指定受付部をさらに備え、
前記属性情報復号部は、前記レベル指定受付部により受け付けられた前記制御指示により指定されるレベルで前記属性情報を復号する
（１５）に記載の情報処理装置。
（１７） 前記属性情報復号部により前記符号化データが復号されて生成された前記属性情報を、点群に関連付け、ポイントクラウドを生成するポイントクラウド生成部をさらに備える
（１５）に記載の情報処理装置。
（１８） 前記ポイントクラウドの位置情報のOctreeを変換して点群を生成する点群生成部をさらに備え、
前記ポイントクラウド生成部は、前記点群生成部により生成された前記点群に前記属性情報を関連付け、前記ポイントクラウドを生成する
（１７）に記載の情報処理装置。
（１９） 前記ポイントクラウドの位置情報の符号化データを復号する位置情報復号部をさらに備え、
前記点群生成部は、前記位置情報復号部により前記符号化データが復号されて生成された前記位置情報のOctreeを変換して点群を生成する
（１８）に記載の情報処理装置。
（２０） ３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データを復号する
情報処理方法。

１００ 符号化装置， １０１ Octree化部， １０２ 点群再構成部， １０３ リカラー部， １０４ 位置情報符号化部， １０５ 属性情報符号化部， １０６ ビットストリーム生成部， ３００ 復号装置， ３０１ ストリーム分解部， ３０２ lod指定受付部， ３０３ 位置情報復号部， ３０４ 点群再構成部， ３０５ 属性情報復号部， ３０６ ポイントクラウド生成部， ３１０ 階層復号部， ４００ 符号化装置， ４０１ Octree化部， ４０４ 位置情報符号化部， ４０６ ビットストリーム生成部， ４１０ 階層符号化部

Claims (20)

1. ３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報を符号化する属性情報符号化部
   を備える情報処理装置。
2. 前記属性情報を解像度に基づいて階層化する階層化部をさらに備え、
   前記属性情報符号化部は、前記階層化部により解像度に基づいて階層化された前記属性情報を符号化する
   請求項１に記載の情報処理装置。
3. 前記階層化部は、前記属性情報を、前記ポイントクラウドの位置情報のOctreeの複数のレベルに対応させることにより、前記属性情報を階層化する
   請求項２に記載の情報処理装置。
4. 前記階層化部は、前記属性情報を、前記Octreeの、所定の条件を満たす有効なレベルに対応させることにより、前記属性情報を階層化する
   請求項３に記載の情報処理装置。
5. 前記Octreeの各レベルについて、前記有効なレベルであるかを判定する判定部をさらに備え、
   前記階層化部は、前記属性情報を、前記Octreeの、前記判定部により前記有効なレベルと判定されたレベルに対応させる
   請求項４に記載の情報処理装置。
6. 前記判定部は、点数が所定の閾値より多く、かつ、点数が前記Octreeの１つ上位のレベルの２倍以上であるレベルを前記有効なレベルと判定する
   請求項５に記載の情報処理装置。
7. 前記階層化部は、前記Octreeの、前記属性情報を対応させるレベルに応じて、前記属性情報に含まれる色情報の変換を行う
   請求項３に記載の情報処理装置。
8. 前記位置情報の前記Octreeを生成するOctree生成部をさらに備える
   請求項３に記載の情報処理装置。
9. 前記位置情報の前記Octreeを符号化する位置情報符号化部をさらに備える
   請求項３に記載の情報処理装置。
10. 前記属性情報符号化部により生成された前記属性情報の符号化データを含むビットストリームを生成する生成部をさらに備える
    請求項１に記載の情報処理装置。
11. 前記生成部は、前記属性情報符号化部により生成された、全階層の前記属性情報の符号化データを含む１本の前記ビットストリームを生成する
    請求項１０に記載の情報処理装置。
12. 前記生成部は、前記属性情報符号化部により生成された、互いに異なる階層の前記属性情報の符号化データを含む複数の前記ビットストリームを生成する
    請求項１０に記載の情報処理装置。
13. 前記生成部は、前記ポイントクラウドの位置情報の符号化データもさらに含む前記ビットストリームを生成する
    請求項１０に記載の情報処理装置。
14. ３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報を符号化する
    情報処理方法。
15. ３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データを復号する属性情報復号部
    を備える情報処理装置。
16. 復号するレベルを指定する制御指示を受け付けるレベル指定受付部をさらに備え、
    前記属性情報復号部は、前記レベル指定受付部により受け付けられた前記制御指示により指定されるレベルで前記属性情報を復号する
    請求項１５に記載の情報処理装置。
17. 前記属性情報復号部により前記符号化データが復号されて生成された前記属性情報を、点群に関連付け、ポイントクラウドを生成するポイントクラウド生成部をさらに備える
    請求項１５に記載の情報処理装置。
18. 前記ポイントクラウドの位置情報のOctreeを変換して点群を生成する点群生成部をさらに備え、
    前記ポイントクラウド生成部は、前記点群生成部により生成された前記点群に前記属性情報を関連付け、前記ポイントクラウドを生成する
    請求項１７に記載の情報処理装置。
19. 前記ポイントクラウドの位置情報の符号化データを復号する位置情報復号部をさらに備え、
    前記点群生成部は、前記位置情報復号部により前記符号化データが復号されて生成された前記位置情報のOctreeを変換して点群を生成する
    請求項１８に記載の情報処理装置。
20. ３次元形状のオブジェクトを点群として表現するポイントクラウドの、解像度に基づいて階層化された属性情報の符号化データを復号する
    情報処理方法。

Images