JP2022003716A - 画像処理装置および方法 - Google Patents

Abstract

【課題】３Ｄデータの表示用２次元画像の画質の低減を抑制する画像処理装置および方法を提供する。【解決手段】画像処理装置（符号化装置３００）は、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータを生成するジオメトリデータ生成部（パッキング部３１２）と、ジオメトリデータ生成部により生成されたジオメトリデータを符号化する符号化部と、を備える。【選択図】図１３

Description

本開示は、画像処理装置および方法に関し、特に、画質の低減を抑制することができるようにした画像処理装置および方法に関する。

従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法として、例えばOctree等のような、ボクセル（Voxel）を用いた符号化があった（例えば非特許文献１参照）。

近年、その他の符号化方法として、例えば、ポイントクラウドの位置情報と属性情報とを小領域毎に２次元平面に投影し、その２次元平面に投影された画像（パッチ）をフレーム画像内に配置し、そのフレーム画像を２次元画像用の符号化方法で符号化する方法（以下、ビデオベースドアプローチ（Video-based approach）とも称する）が提案された。

このような３Ｄデータの符号化方法においては、従来、２次元平面に投影された位置情報に関して、上述のフレーム画像のNxN画素の単位で、その領域における３Ｄデータの位置情報に対応するデプス値（Depth）の有無を判定するためのオキュパンシーマップ（OccupancyMap）が定義され、ビットストリーム（Bitstream）に記述されていた。

R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf

しかしながら、このオキュパンシーマップは上述のようにNxN画素単位のデータとして生成されるため、フレーム画像の解像度、すなわち、デプス値の解像度に比べて低解像度である。そのため、このオキュパンシーマップを利用してフレーム画像から３Ｄデータを再構築する場合、低解像度のオキュパンシーマップの影響により、３Ｄデータの品質（すなわち、その３Ｄデータを２次元平面に投影した表示用画像の画質）が低減するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、３Ｄデータの表示用２次元画像の画質の低減を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータを生成するジオメトリデータ生成部と、前記ジオメトリデータ生成部により生成された前記ジオメトリデータを符号化する符号化部とを備える画像処理装置である。

本技術の一側面の画像処理方法は、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータを生成し、生成された前記ジオメトリデータを符号化する画像処理方法である。

本技術の他の側面の画像処理装置は、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータの符号化データを復号する復号部と、前記復号部により前記符号化データから生成された前記ジオメトリデータから、前記３Ｄデータの位置を示すデプス値と前記オキュパンシーマップ情報とを抽出する抽出部とを備える画像処理装置である。

本技術の他の側面の画像処理方法は、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータの符号化データを復号し、前記符号化データから生成された前記ジオメトリデータから、前記３Ｄデータの位置を示すデプス値と前記オキュパンシーマップ情報とを抽出する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータが生成され、その生成されたジオメトリデータが符号化される。

本技術の他の側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータの符号化データが復号され、その符号化データから生成されたジオメトリデータから、その３Ｄデータの位置を示すデプス値とオキュパンシーマップ情報とが抽出される。

ポイントクラウドの符号化方法の例を説明する図である。 ジオメトリデータの値域への特殊値の埋め込みの様子の例を説明する図である。 シンタックスの例を示す図である。 関連するパラメータの設定例について説明する図である。 シンタックスの例を説明する図である。 シグナルするパラメータの例を説明する図である。 オキュパンシーマップ情報の抽出の様子の例を示す図である。 シンタックスの例を説明する図である。 関連するパラメータの他の設定例について説明する図である。 シンタックスの例を説明する図である。 関連するパラメータの他の設定例について説明する図である。 シンタックスの例を説明する図である。 符号化装置の主な構成例を示すブロック図である。 パッキング部の主な構成例を説明する図である。 符号化処理の流れの例を説明するフローチャートである。 パッキング処理の流れの例を説明するフローチャートである。 パラメータ設定処理の流れの例を説明するフローチャートである。 パラメータ設定処理の流れの例を説明する、図１７に続くフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 ポイントクラウドの符号化方法の例を説明する図である。 符号化装置の主な構成例を示すブロック図である。 パッキング部の主な構成例を説明する図である。 符号化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明する、図２６に続くフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．高解像度のオキュパンシーマップ
２．第１の実施の形態（符号化装置）
３．第２の実施の形態（復号装置）
４．局所的な高解像度のオキュパンシーマップ
５．第３の実施の形態（符号化装置）
６．第４の実施の形態（復号装置）
７．付記

＜１．高解像度のオキュパンシーマップ＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。

非特許文献１：（上述）
非特許文献２：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献４：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017

つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献３に記載されているQuad-Tree Block Structure、非特許文献４に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。

＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）等のデータが存在した。ポイントクラウドはデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。

＜ビデオベースドアプローチの概要＞
このようなポイントクラウドの位置情報や属性情報を、小領域毎に２次元平面に投影し、その２次元平面に投影された画像（パッチ）をフレーム画像内に配置し、そのフレーム画像を２次元画像用の符号化方法で符号化するビデオベースドアプローチ（Video-based approach）が提案された。

このビデオベースドアプローチでは、入力されたポイントクラウド（Point cloud）が複数のセグメンテーション（領域とも称する）に分割され、そのセグメンテーション毎に各ポイントが２次元平面に投影される。ポイントクラウドは各ポイントの位置情報（Geometry）と属性情報（Texture）とにより構成されるので、この２次元平面への投影は、その位置情報と属性情報のそれぞれについて行われる。

そして、この２次元平面に投影された各セグメンテーション（パッチとも称する）は、フレーム画像（２次元画像）に配置される。つまり、位置情報のパッチが配置されたフレーム画像（ジオメトリビデオフレーム（Geometry video frame）とも称する）と、属性情報のパッチが配置されたフレーム画像（カラービデオフレーム（Color video frame）とも称する）とが生成される。

なお、ジオメトリビデオフレームでは、ポイントの位置情報は、奥行方向の位置情報（デプス値（Depth））として表現される。つまり、そのフレーム画像の各画素値は、このデプス値を示す。

これらのフレーム画像は、それぞれ、例えばAVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった、２次元平面画像用の符号化方式により符号化される。

＜オキュパンシーマップ＞
このようなビデオベースドアプローチの場合、さらに、オキュパンシーマップを用いることもできる。オキュパンシーマップは、ジオメトリビデオフレームのNxN画素毎に、投影画像（パッチ）の有無を示すマップ情報である。例えば、オキュパンシーマップは、ジオメトリビデオフレームの、パッチが存在する領域（NxN画素）を値「１」で示し、パッチが存在しない領域（NxN画素）を値「０」で示す。

このようなオキュパンシーマップが、ジオメトリビデオフレームやカラービデオフレームとは別のデータとして符号化され、復号側に伝送される。デコーダは、このオキュパンシーマップを参照することにより、パッチが存在する領域であるか否かを把握することができるので、符号化・復号により生じるノイズ等の影響を抑制することができ、より正確に３Ｄデータを復元することができる。例えば、符号化・復号によりデプス値が変化しても、デコーダは、オキュパンシーマップを参照することにより、パッチが存在しない領域のデプス値を無視する（３Ｄデータの位置情報として処理しないようにする）ことができる。

ただし、一般的に、画像として直接表示されることのない（補助情報である）オキュパンシーマップは、符号量の増大を抑制するために、上述のようにジオメトリビデオフレームの解像度（1x1画素単位）よりも低解像度（NxN画素単位）の情報として生成されていた。そのため、この低解像度のオキュパンシーマップの影響により、復元した３Ｄデータの品質が低減し、その３Ｄデータを２次元平面に投影した表示用画像の画質が低減するおそれがあった。

＜オキュパンシーマップとジオメトリデータの合成＞
そこで、オキュパンシーマップをジオメトリビデオフレームに埋め込むようにする。換言するに、オキュパンシーマップとジオメトリビデオフレームとを合成するようにする。

さらに換言するに、図１の表１０の一番上の段に示されるように、ジオメトリビデオフレームの画素値（ジオメトリデータとも称する）の値域（Range）に、オキュパンシーマップ情報を表す特殊値（Special value）を含むジオメトリデータを生成するようにする。つまり、ジオメトリデータが特殊値の場合、オキュパンシーマップ情報を表し、ジオメトリデータがそれ以外の値の場合、デプス値を表すようにする。

このようにすることにより、ジオメトリデータが、デプス値とオキュパンシーマップ情報の両方を表すことができるようになる。したがって、ジオメトリビデオフレームやカラービデオフレームとは別にオキュパンシーマップを伝送する必要が無くなり、符号化効率の低減を抑制する（典型的には符号化効率を向上させる）ことができる。

＜オキュパンシーマップ情報＞
オキュパンシーマップ情報は、オキュパンシーマップが示す情報、すなわち、パッチの有無を示す情報である。例えば、特殊値が、ジオメトリビデオフレームのその位置にパッチが存在しないことを示すようにしてもよい。換言するに、ジオメトリデータが特殊値の場合、その画素にはパッチが存在しないことを示し（occupancy map = 0）、ジオメトリデータが特殊値以外の値の場合、パッチのデプス値を示す（occupancy map = 1）ようにしてもよい。

このようにすることにより、パッチの存在の有無を画素単位で表すことができる。すなわち、より高解像度のオキュパンシーマップ（例えば、1x1画素単位）を復号側に伝送することができる。つまり、デコーダは、より高解像度のオキュパンシーマップを利用して復号を行うことができる。換言するに、デコーダは、より高解像度に（より細かい領域毎に）パッチの有無を把握することができる。したがって、例えば、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制する（典型的には画質を向上させる）ことができる。

すなわち、符号化効率の低減を抑制しながら、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制することができる。

＜特殊値の設定＞
なお、この特殊値（special value）は、予め定められていてもよいが、図１の表１０の上から２段目乃至６段目の左側に示されるように、例えばエンコーダ等において設定することができるようにしてもよい。

例えば、図２の上側の矢印は、ジオメトリデータがデプス値のみを表す場合の、ジオメトリデータの値域の例を示す。この場合、両矢印２１で示されるように、０乃至２５５の範囲がデプス値（Depth）を表す値域として設定されている。また、図２の下側の矢印は、特殊値を含む場合の、ジオメトリデータの値域の例を示す。この場合、両矢印２４で示される範囲がデプス値（Depth）を表す値域として設定されている。また、この両矢印２４の範囲の外である値０に、特殊値２２が設定されている。

このように特殊値を設定可能とすることにより、エンコーダは、ジオメトリデータ（のデプス値（Depth）を表す値域（両矢印２４で示される範囲））に応じて、特殊値を設定することができる。デプス値を表す値域は、３Ｄデータに依存し、一定ではない。しかしながら、上述のように特殊値を設定可能とすることにより、エンコーダは、例えば図２のように、両矢印２４の範囲の外に特殊値２２を設定することができる。したがって、エンコーダは、デプス値と識別可能な特殊値を設定することができる。

例えば図３のシンタックス３１に示されるように、パッチが存在しない場合（!occupied）、ジオメトリデータが特殊値に設定される（Depth = special value）。なお、このシンタックス３１では、ジオメトリデータを「Depth」と表している。これは、従来のジオメトリデータがデプス値のみを表すものであったことによるものである。

特殊値を設定する位置（値域における位置）は、任意である。例えば、ジオメトリデータの最小値（min）としてもよいし（図１の表１０の上から２段目）、ジオメトリデータの最大値（max）としてもよいし（図１の表１０の上から３段目）、最小値および最大値以外の値（中間値（middle））としてもよい（図１の表１０の上から４段目）。また、設定する特殊値は、単数であってもよいし、複数であってもよい（図１の表１０の上から６段目）。つまり、ジオメトリデータの値域の最小値、最大値、または中間値の内の少なくとも１つを、特殊値に設定するようにしてもよい。

＜ガードマージン＞
また、図２の例のように、特殊値２２と両矢印２４の範囲（デプス値（Depth）を表す値域）との間に、両矢印２３で示されるようなマージン（ガードマージンとも称する）を設けるようにしてもよい。

ジオメトリデータは、符号化・復号により値が変化し得る。したがって、例えば特殊値２２と両矢印２４の範囲とが隣接していると、符号化前はデプス値であったジオメトリデータが復号結果において特殊値２２となるケースも考えられる。そこで、ジオメトリデータの値域にガードマージンを設けることにより、符号化・復号によるノイズの影響を抑制し、特殊値とデプス値とをより明確に分離することができる。

このガードマージン（guard margin）は、予め定められていてもよいが、図１の表１０の上から７段目の左側に示されるように、例えばエンコーダ等において設定することができるようにしてもよい。つまり、ジオメトリデータの値域の、３Ｄデータの位置を示すデプス値を表す値域と特殊値との間に、所定の幅のマージンを設定するようにしてもよい。

このようにガードマージン（両矢印２３で示される範囲）を設定可能とすることにより、エンコーダは、ジオメトリデータ（のデプス値（Depth）を表す値域（両矢印２４で示される範囲））に応じて、特殊値２２やガードマージンを設定することができる。デプス値を表す値域は、３Ｄデータに依存し、一定ではない。しかしながら、上述のようにガードマージンを設定可能とすることにより、エンコーダは、例えば図２のように、両矢印２４の範囲の外にガードマージンと特殊値２２とを設定することができる。したがって、エンコーダは、より明確にデプス値と識別可能な特殊値を設定することができる。

なお、この、ガードマージンの大きさ（幅）は、任意である。ガードマージンの幅が広い程、特殊値２２とデプス値を表す値域との間の距離が広がるので、より明確に特殊値２２とデプス値とを識別することができるようになる（符号化・復号によるノイズに対する耐性を向上させることができる）。ただし、ガードマージンの幅広い程、ジオメトリデータの値域としてより広い値域が必要になる。

例えば、図１の表１０の上から７段目の右側に示されるように、符号化のターゲットレート（QP）等に基づいてガードマージンの幅を設定するようにしてもよい。このようにすることにより、ジオメトリデータに応じた幅のガードマージンを設定することができる。

＜閾値＞
上述したように、ジオメトリデータは、符号化・復号により値が変化し得る。したがって、復号結果においてジオメトリデータがガードマージン内、すなわち、デプス値を表す値域でも特殊値でもない値域に位置するケースも考えられる。そのような場合、そのジオメトリデータがデプス値であるか特殊値であるかを識別する必要がある。

例えば図４の場合、特殊値が０（special value = 0）に設定され、その特殊値（点線４１）とデプス値を表す値域の最小値（点線４２）との間の値域（両矢印４３で示される範囲）がガードマージン（Guard margin）として設定されている。また、図中実線グレーの円で示されるジオメトリデータ４０ａは、符号化前のジオメトリデータを示し、点線白の円で示されるジオメトリデータ４０ｂは、復号後のジオメトリデータを示している。なお、ジオメトリデータ４０ａおよびジオメトリデータ４０ｂを互いに区別して説明する必要が無い場合、ジオメトリデータ４０と称する。

図４においては、１つのジオメトリデータ４０ａ、１つのジオメトリデータ４０ｂ、およびジオメトリデータ４０は、１つずつ符号を付しているが、図４に示される全ての実線グレーの円は、それぞれの位置の符号化前のジオメトリデータ４０ａを示す。同様に、図４に示される全ての点線白の円は、それぞれの位置の復号後のジオメトリデータ４０ｂを示す。また、図４に示される全ての実線グレーの円および点線白の円は、それぞれの位置のジオメトリデータ４０を示す。

例えば復号後のジオメトリデータ４０ｂが両矢印４３で示されるガードマージンに位置する場合、そのジオメトリデータ４０ｂを、特殊値（点線４１）、または、デプス値を表す値域の最小値（点線４２）にクリップするようにしてもよい。例えば、ジオメトリデータ４０ｂが図４において実線で示される境界４４より小さい場合、そのジオメトリデータ４０ｂが、特殊値（点線４１）にクリップされるようにしてもよい（矢印４５）。

また、例えば、ジオメトリデータ４０ｂが境界４４以上であると判定された場合、そのジオメトリデータ４０ｂが、デプス値を表す値域の最小値（点線４２）にクリップされるようにしてもよい（矢印４６）。

例えば、図５のシンタックス５１のように、ジオメトリデータ４０ｂの値ｄが境界４４よりも小さい場合、エンコーダは、そのジオメトリデータ４０ｂを特殊値にクリップする（occupancy map = 0）。また、ガードマージン内のジオメトリデータ４０ｂが境界４４以上である場合、エンコーダは、ジオメトリデータ４０ｂを特殊値にクリップせずに（occupancy map = 1）、シンタックス５２のように、ガードマージンの上限にクリップする（d = max(d, guard margin)）。

このように、ジオメトリデータをクリップさせることにより、より明確に特殊値２２とデプス値とを識別することができるようになる（符号化・復号によるノイズに対する耐性を向上させることができる）。

なお、この境界４４の位置（値）は、ガードマージン内であれば任意である。例えば、エンコーダがこの境界４４の位置を設定することができるようにしてもよい。例えば、エンコーダがこの境界４４に関するパラメータである閾値Ｘを設定することができるようにしてもよい。

例えば、図４に示されるように、特殊値（Special value）と、ガードマージン幅（Guard margin）と、閾値Ｘとを用いて境界４４を、（Special value + Guard margin / Ｘ）のように導出するようにしてもよい。つまり、３Ｄデータの位置を示すデプス値と特殊値とを識別するための閾値Ｘを設定するようにしてもよい。このようにすることにより、境界４４を設定することができる。つまり、境界４４を可変とすることができる。

なお、閾値Ｘの設定方法は任意である。例えば、ジオメトリデータの符号化データが復号されて生成されたジオメトリデータに基づいて、閾値Ｘを設定するようにしてもよい。つまり、図１の表１０の上から８段目の右側に示されるように、ジオメトリデータのローカルデコード時のオキュパンシーマップを評価し、その評価結果に基づいて閾値Ｘを設定するようにしてもよい。このようにすることにより、ジオメトリデータに応じた閾値Ｘを設定することができる。すなわち、ジオメトリデータに応じた境界４４を設定することができる。

＜デプス値の補正＞
なお、ジオメトリデータの値域に特殊値を設定するにあたって、図１の表１０の上から９段目および１０段目の左側に示されるように、デプス値（を表す値域）を補正するようにしてもよい。

例えば、図２の上側に示されるように、デプス値を表す値域がジオメトリデータの値域と一致または近似する等して、特殊値やガードマージンを設定する隙間（値域）がない場合がある。そこで、そのような場合、デプス値を補正してデプス値を表す値域を変更するようにしてもよい。このようにすることにより、特殊値やガードマージンを設定可能な値域をジオメトリデータの値域に設けることができる。つまり、３Ｄデータの位置を示すデプス値の値域を補正して、値域に特殊値を含むジオメトリデータを生成するようにしてもよい。

なお、このデプス値の補正の仕方は任意である。例えば、図１の表１０の上から９段目の右側に示されるように、デプス値を量子化するようにしてもよいし、図１の表１０の上から１０段目の右側に示されるように、デプス値を正方向または負方向にシフトするようにしてもよい。このデプス値の補正量も任意である。例えば、所定の補正量が予め定められているようにしてもよいし、ジオメトリデータに応じて補正量を設定するようにしてもよい。

＜パラメータのシグナル＞
また、図１の表１０の上から１１段目乃至１６段目の左側に示されるように、特殊値に関するパラメータを復号側に伝送する（シグナルする）ようにしてもよい。例えば、ジオメトリデータの符号化データを含むビットストリームに、特殊値に関するパラメータ含めるようにしてもよい。このようにすることにより、デコーダが、符号化の際に用いられた設定（特殊値に関するパラメータ）をより容易に把握することができる。したがって、デコーダは、値域に特殊値等が設定されたジオメトリデータの符号化データをより適切に復号することができる。

なお、特殊値に関するパラメータは、どのようなパラメータであってもよい。例えば、図１の表１０の上から１１段目乃至１３段目の右側に示されるように、このパラメータが、上述した特殊値を示す情報、ガードマージンを示す情報、および閾値を示す情報の内の少なくとも１つを含むようにしてもよい。

また、特殊値を示す情報は、特殊値を直接的に示す情報であってもよいし、間接的に示す情報であってもよい。また、ガードマージンを示す情報は、ガードマージンを直接的に示す情報であってもよいし、間接的に示す情報であってもよい。また、閾値を示す情報は、閾値を直接的に示す情報であってもよいし、間接的に示す情報であってもよい。シグナルする特殊値に関するパラメータの例を、図６のシンタックス６１に示す。シンタックス６１の場合、特殊値をインデックスにより示す情報（Special value index）、ガードマージン幅を示す情報（Guard margin value）、および閾値Ｘ（Threshold Ｘ）が、特殊値に関するパラメータとしてシグナルされる。

また、この特殊値に関するパラメータをシグナルする頻度は任意である。例えば、特殊値に関するパラメータをパッチ毎、フレーム毎、またはシーケンス毎にシグナルする（特殊値に関するパラメータをパッチ、フレーム、またはシーケンス毎にビットストリームに含める）ようにしてもよい。また、例えば、パッチとフレーム、フレームとシーケンス等のように、複数階層のデータ単位毎に特殊値に関するパラメータをシグナルするようにしてもよい。なお、エンコーダ等が、この頻度を設定することができるようにしてもよい。また、ジオメトリデータや処理状況等に応じてこの頻度を変更することができるようにしてもよい。

＜オキュパンシーマップとジオメトリデータの抽出＞
また、復号側において、上述したような、値域（Range）にオキュパンシーマップ情報を表す特殊値（Special value）を含むジオメトリデータから、オキュパンシーマップとジオメトリデータを抽出するようにする。換言するに、オキュパンシーマップとジオメトリデータ（ジオメトリビデオフレーム）とを分離するようにする。

さらに換言するに、図１の表１０の上から１７段目に示されるように、ジオメトリビデオフレームの画素値（ジオメトリデータとも称する）の値域（Range）に、オキュパンシーマップ情報を表す特殊値を含むジオメトリデータから、オキュパンシーマップとデプス値のみのジオメトリデータとを抽出するようにする。例えば、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータの符号化データを復号し、その符号化データから生成されたジオメトリデータから、その３Ｄデータの位置を示すデプス値とオキュパンシーマップ情報とを抽出するようにする。

このようにすることにより、デコーダは、復号されたジオメトリデータから、デプス値とオキュパンシーマップ情報の両方を得ることができる。したがって、デコーダは、符号化効率の低減を抑制する（典型的には符号化効率を向上させる）ことができる。また、デコーダは、より高解像度のオキュパンシーマップを用いて３Ｄデータを復元することができるので、より高解像度に（より細かい領域毎に）パッチの有無を把握することができる。したがって、例えば、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制する（典型的には画質を向上させる）ことができる。

すなわち、符号化効率の低減を抑制しながら、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制することができる。

＜パラメータ＞
その際、デコーダは、例えば図１の表１０の上から１８段目乃至２０段目の左側に示されるように、復号されたジオメトリデータから、特殊値に関するパラメータに基づいて、デプス値と特殊値とを抽出するようにしてもよい。また、この特殊値に関するパラメータは、エンコーダからシグナルされるようにしてもよい。例えば、ジオメトリデータの符号化データを含むビットストリームに、特殊値に関するパラメータ含めるようにしてもよい。このようにすることにより、デコーダが、符号化の際に用いられた設定（特殊値に関するパラメータ）をより容易に把握することができる。したがって、デコーダは、値域に特殊値等が設定されたジオメトリデータの符号化データをより適切に復号することができる。

なお、上述したように、特殊値に関するパラメータは、どのようなパラメータであってもよい。例えば、図１の表１０の上から１８段目乃至２０段目の右側に示されるように、このパラメータが、上述した特殊値を示す情報、ガードマージンを示す情報、および閾値を示す情報の内の少なくとも１つを含むようにしてもよい。

例えば、図７のように、特殊値（Special value）、ガードマージン（Guard margin）、および閾値Ｘから境界を求め（Special value + Guard margin / Ｘ）、さらに、図５のシンタックス５１およびシンタックス５２のように、その境界によって、各画素のオキュパンシーマップを生成してから、復号後のジオメトリデータ４０ｂをクリップするようにしてもよい。

また、図８のシンタックス８１のように、ジオメトリデータ４０ｂのガードマージン両端へのクリップを行ってから、シンタックス８２のように、オキュパンシーマップを生成するようにしてもよい。

＜デプス値の逆補正＞
また、ジオメトリデータの値域に特殊値を設定する際にデプス値（を表す値域）が補正された場合、ジオメトリデータからオキュパンシーマップとジオメトリデータとを抽出する際に、図１の表１０の上から２１段目および２２段目の左側に示されるように、デプス値を逆補正するようにしてもよい。つまり、デコーダは、符号化の際に行われた補正を元に戻すように、抽出したデプス値（の値域）に対して、その補正処理の逆処理（逆補正）を行うようにしてもよい。このようにすることにより、より正しい値のジオメトリデータを抽出することができる。

なお、このデプス値の補正の仕方は任意である。例えば、図１の表１０の上から２１段目の右側に示されるように、デプス値を逆量子化するようにしてもよいし、図１の表１０の上から２２段目の右側に示されるように、デプス値を符号化時のシフトの際と逆方向にシフトするようにしてもよい。このデプス値の補正量も任意である。例えば、所定の補正量が予め定められているようにしてもよいし、ジオメトリデータに応じて補正量を設定するようにしてもよい。

＜特殊値が最大値の例＞
なお、以上においては、主に特殊値が０、すなわち、ジオメトリデータの値域の最小値である場合を例に説明したが、上述したように、特殊値は任意の値に設定することができる。例えば、図９に示されるように、ジオメトリデータの値域の最大値を特殊値としてもよい（Special value = max）。

この場合、特殊値（点線９１）の下側にデプス値を表す値域が存在する。したがって、ガードマージン（Guard margin）は、特殊値の下側、より具体的には、特殊値（点線９１）とデプス値を表す値域の最大値（点線９２）との間の値域（両矢印９３で示される範囲）に設定される。

なお、図中実線グレーの円で示されるジオメトリデータ９０ａは、符号化前のジオメトリデータを示し、点線白の円で示されるジオメトリデータ９０ｂは、復号後のジオメトリデータを示している。ジオメトリデータ９０ａおよびジオメトリデータ９０ｂを互いに区別して説明する必要が無い場合、ジオメトリデータ９０と称する。

以上のようにガードマージンが特殊値の下側に存在するので、この場合、境界９４は、（Special value - Guard margin / Ｘ）のように導出される。この境界９４以上の値を持つジオメトリデータ９０ｂは、特殊値（点線９１）にクリップされる（矢印９５）。また、この境界９４より小さく、かつ、デプス値を表す値域の最大値（点線９２）以上の値を持つジオメトリデータ９０ｂは、デプス値を表す値域の最大値（点線９２）にクリップされる（矢印９６）。つまり、図１０のシンタックス１０１およびシンタックス１０２のようにオキュパンシーマップの生成と、ジオメトリデータのクリップが行われる。

＜特殊値が中央値の例＞
また、例えば、図１１に示されるように、ジオメトリデータの値域の中央値（最小値および最大値以外の値）を特殊値としてもよい（Special value = middle）。

この場合、特殊値（太線１１１）の上側と下側の両方にデプス値を表す値域が存在する。したがって、ガードマージン（Guard margin）は、特殊値の上側と下側の両方に設定される。より具体的には、ガードマージンは、特殊値（太線１１１）とその上側のデプス値を表す値域の最小値（点線１１２）との間の値域（両矢印１１３で示される範囲）に設定される。また、ガードマージンは、特殊値（太線１１１）とその下側のデプス値を表す値域の最大値（点線１１４）との間の値域（両矢印１１５で示される範囲）にも設定される。

つまり、この場合、ガードマージンが複数設定される。したがって、境界も複数設定される。例えば、両矢印１１３で示されるガードマージンの境界は、（Special value + Guard margin / Ｘ）のように導出される。特殊値（太線１１１）からこの境界までの範囲に含まれるジオメトリデータは、特殊値（太線１１１）にクリップされる（矢印１１６）。また、この境界から特殊値（太線１１１）の上側のデプス値を表す値域の最小値（点線１１２）までの範囲に含まれるジオメトリデータは、そのデプス値を表す値域の最小値（点線１１２）にクリップされる（矢印１１７）。

また、例えば、両矢印１１５で示されるガードマージンの境界は、（Special value - Guard margin / Ｘ）のように導出される。この境界から特殊値（太線１１１）までの範囲に含まれるジオメトリデータは、特殊値（太線１１１）にクリップされる（矢印１１８）。また、特殊値（太線１１１）の下側のデプス値を表す値域の最大値（点線１１４）からこの境界までの範囲に含まれるジオメトリデータは、そのデプス値を表す値域の最大値（点線１１４）にクリップされる（矢印１１９）。つまり、図１２のシンタックス１２１およびシンタックス１２２のようにオキュパンシーマップの生成と、ジオメトリデータのクリップが行われる。

＜選択＞
なお、エンコーダが、特殊値を上述した３種類（ジオメトリデータの値域の最小値、最大値、中間値）の中から選択するようにしてもよい。例えば、エンコーダが、ジオメトリデータ（デプス値の分布）に応じて、特殊値の位置を候補の中から選択するようにしてもよい。このようにすることにより、デプス値の補正をより行わないようにすることができ、符号化効率の低減を抑制することができる。また、エンコーダが、このような特殊値の位置の選択を、任意のデータ単位毎に行うようにしてもよい。例えば、エンコーダが、デプス値の分布に基づいて、空いている値域（デプス値に用いない値域）を探索し、探索したその空いている値域に特殊値を設定するようにしてもよい。このようにすることにより、デプス値の補正をさらに行わないようにすることができ、符号化効率の低減を抑制することができる。

＜組み合わせ＞
なお、特殊値は単数であってもよいし、複数であってもよい。例えば、上述した３種類（ジオメトリデータの値域の最小値、最大値、中間値）の特殊値の内の複数を組み合わせて用いるようにしてもよい。例えば、ジオメトリデータの値域の最小値と最大値の両方に、特殊値を設定するようにしてもよい。

＜２．第１の実施の形態＞
＜符号化装置＞
図１３は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図１３に示される符号化装置３００は、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置（ビデオベースドアプローチを適用した符号化装置）である。また、符号化装置３００は、＜１．高解像度のオキュパンシーマップ＞において上述したように、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータを生成し、そのジオメトリデータを符号化して復号側に伝送する。

なお、図１３においては、処理部やデータの流れ等の主なものを示しており、図１３に示されるものが全てとは限らない。つまり、符号化装置３００において、図１３においてブロックとして示されていない処理部が存在したり、図１３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、符号化装置３００内の処理部等を説明する他の図においても同様である。

図１３に示されるように符号化装置３００は、パッチ分解部３１１、パッキング部３１２、補助パッチ情報圧縮部３１３、パラメータ生成部３１４、埋め込み部３１５、ビデオ符号化部３１６、OMap復元部３１７、ビデオ符号化部３１８、およびマルチプレクサ３１９を有する。

パッチ分解部３１１は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部３１１は、符号化装置３００に入力される、３次元構造を表す３Ｄデータ（例えばポイントクラウド（Point Cloud））を取得する。また、パッチ分解部３１１は、取得したその３Ｄデータを複数のセグメンテーションに分解し、そのセグメンテーション毎に３Ｄデータを２次元平面に投影し、位置情報のパッチや属性情報のパッチを生成する。

パッチ分解部３１１は、生成した各パッチに関する情報をパッキング部３１２に供給する。また、パッチ分解部３１１は、その分解に関する情報である補助パッチ情報を、補助パッチ情報圧縮部３１３に供給する。

パッキング部３１２は、データのパッキングに関する処理を行う。例えば、パッキング部３１２は、パッチ分解部３１１から供給される領域毎に３Ｄデータが投影された２次元平面のデータ（パッチ）を取得する。また、パッキング部３１２は、取得した各パッチを２次元画像に配置してビデオフレームとしてパッキングする。例えば、パッキング部３１２は、ポイントの位置を示す位置情報（Geometry）のパッチや、その位置情報に付加される色情報等の属性情報（Texture）のパッチを、それぞれ、ビデオフレームとしてパッキングする。また、パッキング部３１２は、1x1画素毎に位置情報（パッチ）の有無を示す高解像度のオキュパンシーマップを生成する。

つまり、パッキング部３１２は、ジオメトリビデオフレーム（Geometry video frame(s)）と、カラービデオフレーム（Color video frame(s)）と、高解像度オキュパンシーマップ（Occupancy map(1x1)）を生成する。

パッキング部３１２は、生成したジオメトリビデオフレームと、高解像度オキュパンシーマップを、パラメータ生成部３１４および埋め込み部３１５に供給する。また、パッキング部３１２は、カラービデオフレームをビデオ符号化部３１８に供給する。さらに、パッキング部３１２は、そのパッキングに関する制御情報をマルチプレクサ３１９に供給する。

補助パッチ情報圧縮部３１３は、補助パッチ情報の圧縮に関する処理を行う。例えば、補助パッチ情報圧縮部３１３は、パッチ分解部３１１から供給されるデータを取得する。また、補助パッチ情報圧縮部３１３は、パラメータ生成部３１４から供給される特殊値に関するパラメータ（Parameter(s)）を取得する。補助パッチ情報圧縮部３１３は、取得したこれらのデータを補助パッチ情報として符号化（圧縮）する。補助パッチ情報圧縮部３１３は、このように生成した補助パッチ情報の符号化データをマルチプレクサ３１９に供給する。

パラメータ生成部３１４は、特殊値に関するパラメータの生成に関する処理を行う。例えば、パラメータ生成部３１４は、パッキング部３１２から供給されるジオメトリビデオフレーム（Geometry video frame(s)）や高解像度オキュパンシーマップ（Occupancy map(1x1)）を取得する。また、パラメータ生成部３１４は、OMap復元部３１７から供給される復元した高解像度オキュパンシーマップ（Occupancy map(1x1)）を取得する。さらに、パラメータ生成部３１４は、符号化のターゲットレート（QP）等の任意の情報を取得する。

パラメータ生成部３１４は、それらの情報に基づいて、特殊値に関するパラメータを生成する。例えば、パラメータ生成部３１４は、特殊値、ガードマージン、および閾値等のパラメータを生成する。パラメータ生成部３１４は、生成（設定）したパラメータを必要に応じて埋め込み部３１５やOMap復元部３１７に供給する。また、パラメータ生成部３１４は、パラメータの値が最終的に決定すると、その値のパラメータを補助パッチ情報圧縮部３１３に供給する。

埋め込み部３１５は、ジオメトリデータへのオキュパンシーマップの埋め込みに関する処理を行う。換言するに、埋め込み部３１５は、ジオメトリデータとオキュパンシーマップとを合成する合成部である。さらに換言するに、埋め込み部３１５は、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータを生成する生成部である。

例えば、埋め込み部３１５は、パッキング部３１２から供給されるジオメトリビデオフレーム（Geometry video frame(s)）や高解像度オキュパンシーマップ（Occupancy map(1x1)）を取得する。また、埋め込み部３１５は、パラメータ生成部３１４から供給されるパラメータを取得する。埋め込み部３１５は、それらの情報に基づいて、値域に特殊値やガードマージン等を含むジオメトリデータにより構成されるジオメトリビデオフレーム（Geometry video frame(s) w/Guard）を生成する。埋め込み部３１５は、その生成したジオメトリビデオフレーム（Geometry video frame(s) w/Guard）をビデオ符号化部３１６に供給する。

ビデオ符号化部３１６は、ジオメトリビデオフレーム（Geometry video frame(s) w/Guard）の符号化に関する処理を行う。例えば、ビデオ符号化部３１６は、埋め込み部３１５から供給されるジオメトリビデオフレーム（Geometry video frame(s) w/Guard）を取得する。また、ビデオ符号化部３１６は、その取得したジオメトリビデオフレーム（Geometry video frame(s) w/Guard）を、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部３１６は、その符号化により得られた符号化データをOMap復元部３１７またはマルチプレクサ３１９に供給する。

OMap復元部３１７は、オキュパンシーマップの復元に関する処理を行う。例えば、OMap復元部３１７は、ビデオ符号化部３１６から、値域に特殊値やガードマージン等を含むジオメトリデータにより構成されるジオメトリビデオフレーム（Geometry video frame(s) w/Guard）の符号化データを取得する。OMap復元部３１７は、その符号化データをビデオ符号化部３１６が行った符号化に対応する復号方法（例えばAVCやHEVC等の任意の２次元画像用の復号方法）により復号し、ジオメトリビデオフレーム（Geometry video frame(s) w/Guard）を生成する。

また、OMap復元部３１７は、パラメータ生成部３１４から供給される特殊値に関するパラメータを取得する。OMap復元部３１７は、そのパラメータを用いて、生成したジオメトリビデオフレーム（Geometry video frame(s) w/Guard）からオキュパンシーマップ情報を抽出し、高解像度オキュパンシーマップ（Occupancy map(1x1)）を復元する。OMap復元部３１７は、その復元した高解像度オキュパンシーマップをパラメータ生成部３１４に供給する。

ビデオ符号化部３１８は、カラービデオフレーム（Color video frame(s)）の符号化に関する処理を行う。例えば、ビデオ符号化部３１８は、パッキング部３１２から供給されるカラービデオフレームを取得する。また、ビデオ符号化部３１８は、その取得したカラービデオフレームを例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部３１８は、その符号化により得られた符号化データをマルチプレクサ３１９に供給する。

マルチプレクサ３１９は、多重化に関する処理を行う。例えば、マルチプレクサ３１９は、補助パッチ情報圧縮部３１３から供給される補助パッチ情報の符号化データを取得する。また、マルチプレクサ３１９は、パッキング部３１２から供給されるパッキングに関する制御情報を取得する。さらに、マルチプレクサ３１９は、ビデオ符号化部３１６から供給されるジオメトリビデオフレームの符号化データを取得する。また、マルチプレクサ３１９は、ビデオ符号化部３１８から供給されるカラービデオフレームの符号化データを取得する。

マルチプレクサ３１９は、取得したそれらの情報を多重化して、ビットストリーム（Bitstream）を生成する。つまり、マルチプレクサ３１９は、ジオメトリデータの符号化データと、特殊値に関するパラメータとを含むビットストリームを生成する。マルチプレクサ３１９は、その生成したビットストリームを符号化装置３００の外部に出力する。

なお、これらの処理部（パッチ分解部３１１乃至マルチプレクサ３１９）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

＜パラメータの生成＞
次に、この符号化装置３００によるパラメータの生成についてより具体的に説明する。パラメータ生成部３１４は、特殊値に関するパラメータとして、ジオメトリデータの値域に投影画像（パッチ）が存在しないことを示す特殊値（Special value）を設定する。例えば、パラメータ生成部３１４は、パッキング部３１２から供給されるジオメトリビデオフレームを参照し、そのデプス値の分布等に基づいて、特殊値を設定する。パラメータ生成部３１４は、ジオメトリデータの値域の最小値、最大値、または中間値の内の少なくとも１つを、特殊値に設定する。パラメータ生成部３１４は、生成した特殊値を埋め込み部３１５に供給する。

埋め込み部３１５は、その供給された特殊値を、パッキング部３１２から供給されるジオメトリビデオフレームに埋め込む。例えば、埋め込み部３１５は、そのジオメトリビデオフレームにおいて、高解像度オキュパンシーマップにおいてパッチが存在しないことが示される位置（例えば、高解像度オキュパンシーマップにおいて値が０の画素）のジオメトリデータの値を、パラメータ生成部３１４により設定された特殊値とする。つまり、埋め込み部３１５は、値域にパラメータ生成部３１４により設定された特殊値を含むジオメトリデータを生成する。

その際、埋め込み部３１５は、必要に応じて、デプス値（の値域）を補正することができる。例えば、ジオメトリデータの値域に特殊値やガードマージンを設定可能な範囲が存在しない場合、埋め込み部３１５は、デプス値（の値域）を補正する。例えば、埋め込み部３１５は、デプス値を量子化することにより、そのデプス値の値域を補正する。また、例えば、埋め込み部３１５は、デプス値を量子化することにより、そのデプス値の値域を補正する。

また、パラメータ生成部３１４は、特殊値に関するパラメータとして、ガードマージン（Guard margin）を設定する。例えば、パラメータ生成部３１４は、パッキング部３１２から供給されるジオメトリビデオフレームを参照し、そのデプス値の分布等に基づいて、デプス値を表す値域と特殊値との間に、所定の幅のガードマージンを設定する。例えば、パラメータ生成部３１４は、符号化のターゲットレート（QP）等に基づいてこのガードマージンの幅を設定することができる。パラメータ生成部３１４は、生成したガードマージンを埋め込み部３１５に供給する。

埋め込み部３１５は、その供給されたガードマージンを、パッキング部３１２から供給されるジオメトリビデオフレームに埋め込む。例えば、埋め込み部３１５は、そのジオメトリビデオフレームにおいて、各画素のジオメトリデータに、パラメータ生成部３１４により設定されたガードマージン（すなわち、デプス値も特殊値も存在しない値域）を設定する。上述したように埋め込み部３１５は、必要に応じて、デプス値の補正を行うことができる。つまり、埋め込み部３１５は、値域にパラメータ生成部３１４により設定されたガードマージンを含むジオメトリデータを生成する。

また、パラメータ生成部３１４は、特殊値に関するパラメータとして、デプス値と特殊値とを識別するための閾値（Ｘ）を設定する。例えば、パラメータ生成部３１４は、埋め込み部３１５、ビデオ符号化部３１６、およびOMap復元部３１７のループを用いてローカルデコードされたジオメトリデータ（より具体的には、そのジオメトリデータから抽出された高解像度オキュパンシーマップ）に基づいて、この閾値を設定する。

上述したように、埋め込み部３１５は、ジオメトリビデオフレーム（Geometry video frame(s) w/Guard）を生成し、ビデオ符号化部３１６は、その符号化データを生成する。OMap復元部３１７は、その符号化データを復号し、符号化と復号が行われたジオメトリビデオフレーム（Geometry video frame(s) w/Guard）を生成する。

パラメータ生成部３１４は、閾値Ｘを仮設定（仮生成）し、その他のパラメータとともにOMap復元部３１７に供給する。OMap復元部３１７は、パラメータ生成部３１４により供給されたパラメータを用いて、符号化と復号が行われたジオメトリビデオフレーム（Geometry video frame(s) w/Guard）からオキュパンシーマップ情報を抽出し、高解像度オキュパンシーマップ（Occupancy map(1x1)）を復元する。つまり、例えば、図７等を参照して説明したように、OMap復元部３１７は、特殊値、ガードマージン、閾値等のパラメータを用いて境界を求め、その境界に基づいてガードマージン内に位置するジオメトリデータをクリップする等してオキュパンシーマップ情報を抽出する。OMap復元部３１７は、復元した高解像度オキュパンシーマップをパラメータ生成部３１４に供給する。

パラメータ生成部３１４は、その復元された高解像度オキュパンシーマップを、パッキング部３１２から供給された高解像度オキュパンシーマップ（符号化・復号を行う前の）と比較し、その比較結果（マップの一致度合い）に基づいて仮設定した閾値を評価する。比較結果が所定の基準を満たしていない（マップの一致度が十分でない）場合、パラメータ生成部３１４は、仮設定した閾値を変更し、それをOMap復元部３１７に供給し、新たな閾値を用いて再度高解像度オキュパンシーマップを復元させ、高解像度オキュパンシーマップの比較をやり直す。

また、比較結果が所定の基準を満たしている（マップの一致度が十分高い）場合、パラメータ生成部３１４は、仮設定した閾値を正式な値として認める（最終的な設定値とする）。その場合、パラメータ生成部３１４は、その正式に設定した閾値や、設定済みの特殊値およびガードマージン等の各種パラメータを補助パッチ情報圧縮部３１３に供給し、復号側に伝送させる（シグナルさせる）。

＜パラメータのシグナル＞
以上のように生成されたパラメータは、補助パッチ情報圧縮部３１３を介してマルチプレクサ３１９に供給され、ビットストリームに含められて復号側に伝送される（シグナルされる）。つまり、例えば、特殊値を示す情報、３Ｄデータの位置を示すデプス値を表す値域と特殊値との間のマージンを示す情報、および、デプス値と特殊値とを識別するための閾値を示す情報、の内の少なくとも１つを含むパラメータがシグナルされる。

このシグナルは、＜１．高解像度のオキュパンシーマップ＞において上述したように、任意の頻度で行うことができる。例えば、マルチプレクサ３１９は、このようなパラメータを、パッチ、フレーム、またはシーケンス毎に含むビットストリームを生成することができる。

＜パッキング部＞
図１４は、図１３のパッキング部３１２の主な構成例を示すブロック図である。図１４に示されるように、パッキング部３１２は、パッチ配置部３３１、高解像度オキュパンシーマップ生成部３３２、およびDilation処理部３３３を有する。

パッチ配置部３３１は、パッチの配置に関する処理を行う。例えば、パッチ配置部３３１は、パッチ分解部３１１から供給されたデータを取得する。パッチ配置部３３１は、パッチ分解部３１１によって生成された位置情報の各パッチを２次元画像上に配置する。パッチ配置部３３１は、パッチを配置した２次元画像（ジオメトリビデオフレーム）を高解像度オキュパンシーマップ生成部３３２およびDilation処理部３３３に供給する。

高解像度オキュパンシーマップ生成部３３２は、パッチ配置部３３１から供給されたジオメトリビデオフレームに基づいて、1x1画素単位でパッチの有無を識別する高解像度オキュパンシーマップを生成する。高解像度オキュパンシーマップ生成部３３２は、生成した高解像度オキュパンシーマップ（Occupancy map(1x1)）をパラメータ生成部３１４および埋め込み部３１５に供給する。

Dilation処理部３３３は、パッチ配置部３３１から供給されるジオメトリビデオフレームについてDilation処理を行い、各パッチの輪郭の画素値を所定の方向に延長し、２次元画像のパッチが配置されていない部分を埋める。Dilation処理部３３３は、Dilation処理後のジオメトリビデオフレーム（Geometry video frame(s)）をパラメータ生成部３１４および埋め込み部３１５に供給する。

なお、図示は省略するが、パッチ配置部３３１およびDilation処理部３３３は、属性情報のパッチ（カラービデオフレーム）に対しても同様の処理を行い、生成したカラービデオフレーム（Color video frame(s)）をビデオ符号化部３１８に供給する。

なお、これらの処理部（パッチ配置部３３１乃至Dilation処理部３３３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

以上のような構成を備えることにより、符号化装置３００は、＜１．高解像度のオキュパンシーマップ＞において上述したような符号化を行うことができる。したがって、符号化装置３００は、＜１．高解像度のオキュパンシーマップ＞において上述したような各種効果を得ることができる。したがって、符号化装置３００は、符号化効率の低減を抑制しながら、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制することができる。

＜符号化処理の流れ＞
次に、符号化装置３００により実行される符号化処理の流れの例を、図１５のフローチャートを参照して説明する。

符号化処理が開始されると、符号化装置３００のパッチ分解部３１１は、ステップＳ３０１において、３Ｄデータを２次元平面に投影し、パッチに分解する。

ステップＳ３０２において、パッキング部３１２は、パッキング処理を実行し、ステップＳ３０１において生成された位置情報や属性情報の各パッチをビデオフレームとしてパッキングする。また、パッキング部３１２は、そのパッキングに関する制御情報を生成する。

ステップＳ３０３において、パラメータ生成部３１４乃至OMap復元部３１７は、パラメータ設定処理を実行し、特殊値に関するパラメータを生成する。

ステップＳ３０４において、埋め込み部３１５は、ステップＳ３０３の処理により生成されたパラメータを用いて、ステップＳ３０２の処理により生成された高解像度オキュパンシーマップを、ステップＳ３０２の処理により生成されたジオメトリビデオフレームに埋め込む。つまり、埋め込み部３１５は、この処理により、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータを生成する。

ステップＳ３０５において、ビデオ符号化部３１６は、ステップＳ３０４の処理により生成されたオキュパンシーマップ情報を含むジオメトリビデオフレームを符号化する。

ステップＳ３０６において、ビデオ符号化部３１８は、ステップＳ３０２の処理により生成されたカラービデオフレームを符号化する。

ステップＳ３０７において、補助パッチ情報圧縮部３１３は、ステップＳ３０１の処理により生成された補助パッチ情報や、ステップＳ３０３の処理により生成されたパラメータを圧縮する。

ステップＳ３０８において、マルチプレクサ３１９は、以上のように生成された各種情報（例えば、ステップＳ３０５乃至ステップＳ３０７において生成された符号化データや、ステップＳ３０２において生成されるパッキングに関する制御情報等）を多重化し、これらの情報を含むビットストリームを生成する。

ステップＳ３０９において、マルチプレクサ３１９は、ステップＳ３０８において生成したビットストリームを符号化装置３００の外部に出力する。

ステップＳ３０９の処理が終了すると、符号化処理が終了する。

＜パッキング処理の流れ＞
次に、図１６のフローチャートを参照して、図１５のステップＳ３０２において実行されるパッキング処理の流れの例を説明する。

パッキング処理が開始されると、パッチ配置部３３１は、ステップＳ３２１において、パッチをビデオフレームに配置し、ジオメトリビデオフレームやカラービデオフレームを生成する。

ステップＳ３２２において、高解像度オキュパンシーマップ生成部３３２は、ステップＳ３２１の処理により生成されたジオメトリビデオフレームを用いて高解像度オキュパンシーマップを生成する。

ステップＳ３２３において、Dilation処理部３３３は、ステップＳ３２１の処理により生成されたジオメトリビデオフレームやカラービデオフレームに対してDilation処理を行う。

ステップＳ３３３の処理が終了するとパッキング処理が終了し、処理は図１５に戻る。

＜パラメータ設定処理の流れ＞
次に、図１７および図１８のフローチャートを参照して、図１５のステップＳ３０２において実行されるパラメータ設定処理の流れの例を説明する。

パラメータ設定処理が開始されると、パラメータ生成部３１４は、図１７のステップＳ３４１において、ジオメトリデータの値域に特殊値を設定する。

ステップＳ３４２において、パラメータ生成部３１４は、例えば符号化のターゲットレート（QP）等に基づいて、ジオメトリデータの値域にガードマージンを設定する。

ステップＳ３４３において、パラメータ生成部３１４は、ステップＳ３４１およびステップＳ３４２において設定した特殊値およびガードマージンを、ジオメトリビデオフレームに設定可能であるか否かを判定する。デプス値の分布等に基づいて、特殊値とガードマージンが設定不可能であると判定された場合、処理はステップＳ３４４に進む。

ステップＳ３４４において、パラメータ生成部３１４は、例えば量子化やシフト等により、デプス値を補正して、不使用の値域を確保し、特殊値とガードマージンを設定することができるようにする。

ステップＳ３４４の処理が終了すると、処理は図１８のステップＳ３５１に進む。また、図１７のステップＳ３４３において、特殊値とガードマージンが設定可能であると判定された場合、ステップＳ３４４の処理がスキップされ、処理は図１８のステップＳ３５１に進む。

図１８のステップＳ３５１において、パラメータ生成部３１４は、閾値（Ｘ）を初期化する（初期値に仮設定する）。

ステップＳ３５２において、埋め込み部３１５は、図１７のステップＳ３４１やステップＳ３４２の処理により生成したパラメータ（特殊値やガードマージン）を用いてオキュパンシーマップ情報をジオメトリビデオフレームに埋め込む。

ステップＳ３５３において、ビデオ符号化部３１６は、ステップＳ３５２において生成されたオキュパンシーマップ情報を含むジオメトリビデオフレーム（Geometry video frame(s) w/Guard）を符号化する。

ステップＳ３５４において、OMap復元部３１７は、ステップＳ３５３において生成されたオキュパンシーマップ情報を含むジオメトリビデオフレームの符号化データを復号する。さらに、OMap復元部３１７は、その復号により生成したオキュパンシーマップ情報を含むジオメトリビデオフレームから、図１７のステップＳ３４１の処理により生成された特殊値、ステップＳ３４２の処理により生成されたガードマージン、および閾値（Ｘ）（現在の仮設定値）等を用いて、高解像度オキュパンシーマップを復元する。

ステップＳ３５５において、パラメータ生成部３１４は、符号化・復号を行う前の元の高解像度オキュパンシーマップ（ステップＳ３０２の処理により生成された高解像度オキュパンシーマップ）と、復元した高解像度オキュパンシーマップ（ステップＳ３５４の処理により生成された高解像度オキュパンシーマップ）とを比較し、値がともに１（OP=1）であるピクセルの数をカウントする（カウント値K1を導出する）。

ステップＳ３５６において、パラメータ生成部３１４は、符号化・復号を行う前の元の高解像度オキュパンシーマップ（ステップＳ３０２の処理により生成された高解像度オキュパンシーマップ）と、復元した高解像度オキュパンシーマップ（ステップＳ３５４の処理により生成された高解像度オキュパンシーマップ）とを比較し、値がともに０（OP=0）であるピクセルの数をカウントする（カウント値K2を導出する）。

ステップＳ３５７において、パラメータ生成部３１４は、ステップＳ３５５において導出したカウント値K1、および、ステップＳ３５６において導出したカウント値K2が、所定の基準以上であるか否かを判定する。カウント値K1若しくはK2、またはその両方が所定の基準以上でないと判定された場合、処理はステップＳ３５８に進む。

ステップＳ３５８において、パラメータ生成部３１４は、閾値（Ｘ）の仮設定値を更新する。閾値の仮設定値が更新されると、処理はステップＳ３５４に戻り、その新たな仮設定値の閾値を用いてそれ以降の処理が実行される。つまり、ステップＳ３５７において、カウント値K1およびK2が所定の基準以上であると判定されるまで、閾値の仮設定値を更新しながら、ステップＳ３５４乃至ステップＳ３５８の各処理が繰り返し実行される。

そして、ステップＳ３５７においてカウント値K1およびK2が所定の基準以上であると判定された場合、処理はステップＳ３５９に進む。

ステップＳ３５９において、パラメータ生成部３１４は、現在の仮設定値を閾値（Ｘ）の正式な設定値とする。ステップＳ３５９の処理が終了すると、パラメータ設定処理が終了し、処理は図１５に戻る。

以上のように各処理を実行することにより、符号化装置３００は、＜１．高解像度のオキュパンシーマップ＞において上述したような符号化を行うことができる。したがって、符号化装置３００は、＜１．高解像度のオキュパンシーマップ＞において上述したような各種効果を得ることができる。したがって、符号化装置３００は、符号化効率の低減を抑制しながら、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制することができる。

＜３．第２の実施の形態＞
＜復号装置＞
図１９は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１９に示される復号装置４００は、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３Ｄデータを再構築する装置（ビデオベースドアプローチを適用した復号装置）である。この復号装置４００は、図１３の符号化装置３００に対応する復号装置であり、符号化装置３００により生成されたビットストリームを復号して３Ｄデータを再構築することができる。

なお、図１９においては、処理部やデータの流れ等の主なものを示しており、図１９に示されるものが全てとは限らない。つまり、復号装置４００において、図１９においてブロックとして示されていない処理部が存在したり、図１９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図１９に示されるように復号装置４００は、デマルチプレクサ４１１、補助パッチ情報復号部４１２、ビデオ復号部４１３、抽出部４１４、ビデオ復号部４１５、アンパッキング部４１６、および３Ｄ再構築部４１７を有する。

デマルチプレクサ４１１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ４１１は、復号装置４００に入力されるビットストリームを取得する。このビットストリームは、例えば、符号化装置３００より供給される。デマルチプレクサ４１１は、このビットストリームを逆多重化し、補助パッチ情報の符号化データを抽出し、それを補助パッチ情報復号部４１２に供給する。また、デマルチプレクサ４１１は、逆多重化により、ビットストリームからジオメトリビデオフレームの符号化データを抽出し、それをビデオ復号部４１３に供給する。さらに、デマルチプレクサ４１１は、逆多重化により、ビットストリームからカラービデオフレームの符号化データを抽出し、それをビデオ復号部４１５に供給する。また、デマルチプレクサ４１１は、逆多重化により、ビットストリームからパッキングに関する制御情報を抽出し、それをアンパッキング部４１６に供給する。

補助パッチ情報復号部４１２は、補助パッチ情報等の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部４１２は、デマルチプレクサ４１１から供給される符号化データを取得する。また、補助パッチ情報復号部４１２は、その取得した符号化データを復号し、補助パッチ情報を生成する。この補助パッチ情報には、特殊値に関するパラメータ等が含まれる。補助パッチ情報復号部４１２は、生成した補助パッチ情報を３Ｄ再構築部４１７に供給する。また、補助パッチ情報復号部４１２は、特殊値に関するパラメータを抽出部４１４に供給する。この特殊値に関するパラメータには、例えば、特殊値（Special value）、ガードマージン（Guard margin）、閾値Ｘ（Threshold Ｘ）等が含まれる。

ビデオ復号部４１３は、ジオメトリビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部４１３は、デマルチプレクサ４１１から供給されるジオメトリビデオフレームの符号化データを取得する。また、ビデオ復号部４１３は、その符号化データを復号し、オキュパンシーマップ情報を含むジオメトリビデオフレーム（Geometry video frame(s) w/Guard）を生成する。つまり、ビデオ復号部４１３は、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータの符号化データを復号する。さらに、ビデオ復号部４１３は、そのジオメトリビデオフレームを、抽出部４１４に供給する。

抽出部４１４は、オキュパンシーマップ情報の抽出に関する処理を行う。例えば、抽出部４１４は、ビデオ復号部４１３から供給されるジオメトリビデオフレーム（Geometry video frame(s) w/Guard）を取得する。また、抽出部４１４は、補助パッチ情報復号部４１２から供給される特殊値に関するパラメータを取得する。

さらに、抽出部４１４は、その特殊値に関するパラメータを用いて、ジオメトリビデオフレームからオキュパンシーマップ情報を抽出し、高解像度オキュパンシーマップ（Occupancy map(1x1)）と、オキュパンシーマップ情報を含まないジオメトリビデオフレーム（Geometry video frame(s)）とを生成する。換言するに、抽出部４１４は、オキュパンシーマップ情報を含むジオメトリビデオフレームから、高解像度オキュパンシーマップと、オキュパンシーマップ情報を含まないジオメトリビデオフレームとを抽出する。さらに、換言するに、抽出部４１４は、高解像度オキュパンシーマップとジオメトリビデオフレームとを分離する。

つまり、抽出部４１４は、３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータから、その３Ｄデータの位置を示すデプス値とオキュパンシーマップ情報とを抽出する。例えば、抽出部４１４は、特殊値に関するパラメータに基づいて、デプス値と特殊値とを抽出する。なお、ジオメトリデータの値域に特殊値を設定する際にデプス値（を表す値域）が補正された場合、抽出部４１４は、抽出したデプス値を逆補正することもできる。

また、抽出部４１４は、生成した高解像度オキュパンシーマップ（Occupancy map(1x1)）と、ジオメトリビデオフレーム（Geometry video frame(s)）とをアンパッキング部４１６に供給する。

ビデオ復号部４１５は、カラービデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部４１５は、デマルチプレクサ４１１から供給されるカラービデオフレームの符号化データを取得する。また、ビデオ復号部４１５は、その符号化データを復号し、カラービデオフレームを生成する。さらに、ビデオ復号部４１５は、生成したカラービデオフレーム（Color video frame(s)）を、アンパッキング部４１６に供給する。

アンパッキング部４１６は、アンパッキングに関する処理を行う。例えば、デマルチプレクサ４１１から供給されるパッキングに関する制御情報を取得する。また、アンパッキング部４１６は、抽出部４１４から供給される高解像度オキュパンシーマップ（Occupancy map(1x1)）と、ジオメトリビデオフレーム（Geometry video frame(s)）とを取得する。さらに、アンパッキング部４１６は、ビデオ復号部４１５から供給されるカラービデオフレーム（Color video frame(s)）を取得する。

また、アンパッキング部４１６は、パッキングに関する制御情報や高解像度オキュパンシーマップに基づいて、ジオメトリビデオフレームやカラービデオフレームをアンパッキングする。さらに、アンパッキング部４１６は、アンパッキングして得られた位置情報や属性情報のパッチ等を、３Ｄ再構築部４１７に供給する。

３Ｄ再構築部４１７は、３Ｄデータの再構築に関する処理を行う。例えば、３Ｄ再構築部４１７は、補助パッチ情報復号部４１２から供給される補助パッチ情報や、アンパッキング部４１６から供給されるパッチ等に基づいて、３Ｄデータ（例えばポイントクラウド（Point Cloud））を再構築する。また、３Ｄ再構築部４１７は、このような処理により得られた３Ｄデータを復号装置４００の外部に出力する。

この３Ｄデータは、例えば、表示部に供給されてその画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。

なお、これらの処理部（デマルチプレクサ４１１乃至３Ｄ再構築部４１７）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

このような構成を備えることにより、復号装置４００は、＜１．高解像度のオキュパンシーマップ＞において上述したような復号を行うことができる。したがって、復号装置４００は、＜１．高解像度のオキュパンシーマップ＞において上述したような各種効果を得ることができる。したがって、復号装置４００は、符号化効率の低減を抑制しながら、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制することができる。

＜復号処理の流れ＞
次に、復号装置４００により実行される復号処理の流れの例を、図２０のフローチャートを参照して説明する。

復号処理が開始されると、復号装置４００のデマルチプレクサ４１１は、ステップＳ４０１において、ビットストリームを逆多重化する。

ステップＳ４０２において、補助パッチ情報復号部４１２は、ステップＳ４０１の処理によりビットストリームから抽出された補助パッチ情報の符号化データを復号し、補助パッチ情報を生成する。

ステップＳ４０３において、ビデオ復号部４１３は、ステップＳ４０１の処理によりビットストリームから抽出されたオキュパンシーマップ情報を含むジオメトリビデオフレームの符号化データを復号し、オキュパンシーマップ情報を含むジオメトリビデオフレームを生成する。

ステップＳ４０４において、抽出部４１４は、ステップＳ４０２において生成された補助パッチ情報に含まれる特殊値に関するパラメータを用いて、ステップＳ４０３の処理により生成されたオキュパンシーマップ情報を含むジオメトリビデオフレームから、オキュパンシーマップ情報を抽出し、高解像度オキュパンシーマップと、オキュパンシーマップ情報を含まないジオメトリビデオフレーム（Geometry video frame(s)）とを生成する。つまり、抽出部４１４は、デプス値とオキュパンシーマップ情報とを抽出する。

ステップＳ４０５において、抽出部４１４は、特殊値に関するパラメータ等に基づいて、符号化の際にデプス値が補正されているか否かを判定する。例えば、デプス値が補正されていると判定された場合、処理はステップＳ４０６に進む。

ステップＳ４０６において、抽出部４１４は、デプス値を逆補正する。ステップＳ４０６の処理が終了すると処理はステップＳ４０７に進む。また、ステップＳ４０５において、デプス値が補正されていないと判定された場合、ステップＳ４０６の処理がスキップされ、処理はステップＳ４０７に進む。

ステップＳ４０７において、ビデオ復号部４１５は、ステップＳ４０１においてビットストリームから抽出されたカラービデオフレームの符号化データを復号する。

ステップＳ４０８において、アンパッキング部４１６は、ジオメトリビデオフレームやカラービデオフレームをアンパッキングし、パッチを抽出する。

ステップＳ４０９において、３Ｄ再構築部４１７は、ステップＳ４０８の処理により抽出されたパッチ等を用いて、例えばポイントクラウド等の３Ｄデータを再構築する。

ステップＳ４０９の処理が終了すると復号処理が終了する。

以上のように各処理を実行することにより、復号装置４００は、＜１．高解像度のオキュパンシーマップ＞において上述したような復号を行うことができる。したがって、復号装置４００は、＜１．高解像度のオキュパンシーマップ＞において上述したような各種効果を得ることができる。したがって、復号装置４００は、符号化効率の低減を抑制しながら、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制することができる。

＜４．局所的な高解像度のオキュパンシーマップ＞
＜一部の領域への高解像度のオキュパンシーマップの適用＞
以上に説明した高解像度オキュパンシーマップは、ビデオフレームの一部の領域に適用するようにしてもよい。つまり、図２１の表５００の一番上の段に示されるように、一部の領域のジオメトリデータの値域（Range）に、オキュパンシーマップ情報を表す特殊値（Special value）を含むジオメトリデータを生成するようにしてもよい。

このようにすることにより、その一部の領域について、より高解像度のオキュパンシーマップ（例えば、1x1画素単位）を復号側に伝送することができる。つまり、デコーダは、その一部の領域について、より高解像度のオキュパンシーマップを利用して復号を行うことができる。換言するに、デコーダは、その一部の領域について、より高解像度に（より細かい領域毎に）パッチの有無を把握することができる。したがって、例えば、その一部の領域について、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制する（典型的には画質を向上させる）ことができる。

なお、一般的に、特殊値を適用する領域を狭くする程、デプス値の数が低減するので、特殊値やガードマージンを設定することができる値域が広くなる可能性が高くなる。つまり、特殊値を適用する領域を狭くする程、デプス値を補正せずに特殊値やガードマージンを設定することができる可能性が高くなる。したがって、特殊値を適用する領域を狭くする程、符号化効率の低減を抑制することができる可能性が高くなる。

この一部の領域は、どのような領域であってもよく、例えば予め定められていてもよいし、エンコーダ等が設定することができるようにしてもよい。また、その設定方法も任意である。例えば、図２１の表５００の上から２段目乃至４段目の左側に示されるように、所定の条件を満たす領域に特殊値を含めるようにしてもよい。つまり、フレーム画像の所定の条件を満たす一部の領域のデータの値域に特殊値を含むジオメトリデータを生成するようにしてもよい。

この条件は任意である。例えば、ジオメトリデータよりも低解像度のオキュパンシーマップ情報に基づく領域のデータの値域に特殊値を含むジオメトリデータを生成するようにしてもよい。

例えば、図２１の表５００の上から２段目に示されるように、パッチの、低解像度のオキュパンシーマップの境界から所定の閾値以内の領域に対して特殊値を適用するようにしてもよい。一般的に、オキュパンシーマップがジオメトリデータよりも低解像度であると、パッチの外形の再現性が低減する。つまり、そのオキュパンシーマップが示すパッチの境界（値が１の領域と値が０の領域との境界）付近において、実際のジオメトリデータの有無との誤差が生じやすく、結果として、復元した３Ｄデータを２次元平面に投影した表示用画像の画質が低減する可能性がある。そこで、上述のような条件を用いてこのようなパッチの境界近傍のオキュパンシーマップを高解像度化するようにしてもよい。このようにすることにより、パッチの外形の再現性を向上させることができる。つまり、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制する（典型的には画質を向上させる）ことができる。

また例えば、図２１の表５００の上から３段目に示されるように、パッチの、低解像度のオキュパンシーマップの境界から所定の閾値以上離れた領域に対して特殊値を適用するようにしてもよい。例えばパッチの内側にジオメトリデータが存在しない小さな領域が存在する場合、オキュパンシーマップがジオメトリデータよりも低解像度であると、そのような領域を再現することが困難になり、結果として、復元した３Ｄデータを２次元平面に投影した表示用画像の画質が低減する可能性がある。そこで、上述のような条件を用いてパッチの内側のオキュパンシーマップを高解像度化するようにしてもよい。このようにすることにより、パッチの内側の再現性を向上させることができる。つまり、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制する（典型的には画質を向上させる）ことができる。

さらに例えば、図２１の表５００の上から４段目に示されるように、所定の閾値以下のピクセルにより構成される孤立点には特殊値を適用しないようにしてもよい。例えば、ジオメトリビデオフレームにおいて、ノイズ等の影響により、パッチの外側に小さなジオメトリデータが存在する領域（孤立点）が生じる場合がある。オキュパンシーマップを高解像度化すると、このような孤立点まで再現してしまい、結果として、復元した３Ｄデータを２次元平面に投影した表示用画像の画質が低減してしまう可能性がある。そこで、上述したような条件を用いて、このような孤立点の部分のオキュパンシーマップを低解像度化する（高解像度化しない）ようにしてもよい。このようにすることにより、不要な孤立点の再現を抑制することができる。つまり、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制する（典型的には画質を向上させる）ことができる。

なお、図２１の表５００の上から５段目に示されるように、ジオメトリデータよりも低解像度のオキュパンシーマップを復号側に伝送するようにしてもよい。例えば、低解像度のオキュパンシーマップを、従来の場合と同様に、ジオメトリビデオフレームやカラービデオフレームとは異なる情報として（ビットストリームに含めて）復号側に伝送するようにしてもよい。

＜一部の領域に適用されたオキュパンシーマップとジオメトリデータの抽出＞
また、復号側において、図２１の表５００の上から６段目に示されるように、上述したような、一部の領域の値域（Range）にオキュパンシーマップ情報を表す特殊値（Special value）を含むジオメトリデータから、オキュパンシーマップとジオメトリデータを抽出するようにしてもよい。換言するに、オキュパンシーマップとジオメトリデータ（ジオメトリビデオフレーム）とを分離するようにするようしてもよい。

また、図２１の表５００の上から７段目に示されるように、ジオメトリデータよりも低解像度のオキュパンシーマップも取得するようにしてもよい。さらに、図２１の表５００の上から８段目に示されるように、高解像度のオキュパンシーマップと低解像度のオキュパンシーマップとを合成するようにしてもよい。つまり、ジオメトリビデオフレームから抽出された高解像度オキュパンシーマップと、ジオメトリビデオフレームやカラービデオフレームとは異なる情報として伝送される低解像度オキュパンシーマップとを合成するようにしてもよい。このように合成されたオキュパンシーマップを用いてアンパッキングを行うことにより、低解像度のオキュパンシーマップを用いる場合よりも、より正確にパッチを抽出することができ、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制する（典型的には画質を向上させる）ことができる。

＜５．第３の実施の形態＞
＜符号化装置＞
図２２は、この場合の符号化装置３００の主な構成の一例を示すブロック図である。この場合の符号化装置３００は、図１３の例と比べて、パッキング部３１２の代わりにパッキング部５１２を有し、埋め込み部３１５の代わりに埋め込み部５１５を有する。さらに、この場合の符号化装置３００は、OMap符号化部５２１を有する。

パッキング部５１２は、パッキング部３１２と同様の処理を行うとともに、さらに、NxN画素の領域毎にパッチの有無を示す低解像度オキュパンシーマップ（Occupancy map(NxN)）を生成する。パッキング部３１２は、その低解像度オキュパンシーマップを埋め込み部５１５およびOMap符号化部５２１に供給する。

埋め込み部５１５は、埋め込み部３１５と同様に、ジオメトリデータへのオキュパンシーマップの埋め込みに関する処理を行う。ただし、埋め込み部５１５は、一部の領域のジオメトリデータの値域（Range）に、オキュパンシーマップ情報を表す特殊値（Special value）を埋め込む。例えば、埋め込み部５１５は、パッキング部５１２から供給されるジオメトリビデオフレーム（Geometry video frame(s)）、高解像度オキュパンシーマップ（Occupancy map(1x1)）、および低解像度オキュパンシーマップ（Occupancy map(NxN)）を取得する。また、埋め込み部５１５は、パラメータ生成部３１４から供給されるパラメータを取得する。

埋め込み部５１５は、それらの情報に基づいて、一部の領域において、値域に特殊値やガードマージン等を含むジオメトリデータにより構成されるジオメトリビデオフレーム（Geometry video frame(s) w/Guard）を生成する。例えば、埋め込み部５１５は、所定の条件を満たす領域において、値域に特殊値を含むジオメトリデータを生成する。例えば、埋め込み部５１５は、低解像度オキュパンシーマップに基づく領域において、値域に特殊値を含むジオメトリデータを生成する。埋め込み部５１５は、その生成したジオメトリビデオフレーム（Geometry video frame(s) w/Guard）をビデオ符号化部３１６に供給する。

OMap符号化部５２１は、オキュパンシーマップの符号化に関する処理を行う。例えば、OMap符号化部５２１は、パッキング部５１２から供給される低解像度オキュパンシーマップを取得する。OMap符号化部５２１は、その低解像度オキュパンシーマップを、例えば算術符号化等の任意の符号化方法により符号化し、符号化データを生成する。OMap符号化部５２１は、生成した符号化データをマルチプレクサ３１９に供給する。

なお、図２２に示される符号化装置３００の各処理部は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

＜パッキング部＞
図２３は、図２２のパッキング部５１２の主な構成例を示すブロック図である。図２３に示されるように、パッキング部５１２は、パッキング部３１２の各処理部（図１４）に加え、低解像度オキュパンシーマップ生成部５３１を有する。

低解像度オキュパンシーマップ生成部５３１は、パッチ配置部３３１から供給されたジオメトリビデオフレームに基づいて、NxN画素単位でパッチの有無を識別する低解像度オキュパンシーマップを生成する。低解像度オキュパンシーマップ生成部５３１は、生成した低解像度オキュパンシーマップ（Occupancy map(NxN)）を埋め込み部５１５およびOMap符号化部５２１に供給する。

なお、これらの処理部（パッチ配置部３３１乃至Dilation処理部３３３、並びに、低解像度オキュパンシーマップ生成部５３１）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

以上のような構成を備えることにより、この場合の符号化装置３００は、＜４．局所的な高解像度のオキュパンシーマップ＞において上述したような符号化を行うことができる。したがって、符号化装置３００は、＜４．局所的な高解像度のオキュパンシーマップ＞において上述したような各種効果を得ることができる。したがって、符号化装置３００は、符号化効率の低減を抑制しながら、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制することができる。

＜符号化処理の流れ＞
次に、この場合の符号化装置３００により実行される符号化処理の流れの例を、図２４のフローチャートを参照して説明する。

符号化処理が開始されると、符号化装置３００のパッチ分解部３１１は、ステップＳ５０１において、３Ｄデータを２次元平面に投影し、パッチに分解する。

ステップＳ５０２において、パッキング部５１２は、パッキング処理を実行し、ステップＳ５０１において生成された位置情報や属性情報の各パッチをビデオフレームとしてパッキングする。また、パッキング部５１２は、そのパッキングに関する制御情報を生成する。なお、この場合、パッキング部５１２は、図１６のフローチャートを参照して説明した各処理に加え、低解像度オキュパンシーマップを生成する。

ステップＳ５０３において、パラメータ生成部３１４、埋め込み部５１５、ビデオ符号化部３１６、およびOMap復元部３１７は、パラメータ設定処理を実行し、特殊値に関するパラメータを生成する。

ステップＳ５０４において、埋め込み部５１５は、ステップＳ５０３の処理により生成されたパラメータを用いて、ステップＳ５０２の処理により生成された高解像度オキュパンシーマップを、ステップＳ５０２の処理により生成されたジオメトリビデオフレームの、所定の条件を満たす領域に埋め込む。

ステップＳ５０５において、ビデオ符号化部３１６は、ステップＳ５０４の処理により生成された、所定の条件を満たす慮息にオキュパンシーマップ情報を含むジオメトリビデオフレームを符号化する。

ステップＳ５０６において、OMap符号化部５２１は、ステップＳ５０２の処理により生成された低解像度オキュパンシーマップを符号化する。

ステップＳ５０７において、ビデオ符号化部３１８は、ステップＳ５０２の処理により生成されたカラービデオフレームを符号化する。

ステップＳ５０８において、補助パッチ情報圧縮部３１３は、ステップＳ５０１の処理により生成された補助パッチ情報や、ステップＳ５０３の処理により生成されたパラメータを圧縮する。

ステップＳ５０９において、マルチプレクサ３１９は、以上のように生成された各種情報（例えば、ステップＳ５０５乃至ステップＳ５０８において生成された符号化データや、ステップＳ５０２において生成されるパッキングに関する制御情報等）を多重化し、これらの情報を含むビットストリームを生成する。

ステップＳ５１０において、マルチプレクサ３１９は、ステップＳ５０９において生成したビットストリームを符号化装置３００の外部に出力する。

ステップＳ５１０の処理が終了すると、符号化処理が終了する。

以上のように各処理を実行することにより、この場合の符号化装置３００は、＜４．局所的な高解像度のオキュパンシーマップ＞において上述したような符号化を行うことができる。したがって、符号化装置３００は、＜４．局所的な高解像度のオキュパンシーマップ＞において上述したような各種効果を得ることができる。したがって、符号化装置３００は、符号化効率の低減を抑制しながら、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制することができる。

＜６．第４の実施の形態＞
＜復号装置＞
図２５は、この場合の復号装置４００の構成の一例を示すブロック図である。図２５に示される復号装置４００は、図２２の符号化装置３００に対応する復号装置であり、この符号化装置３００により生成されたビットストリームを復号して３Ｄデータを再構築することができる。

この場合の復号装置４００は、図１９の例の構成に加え、さらに、OMap復号部６１１およびOMap合成部６１２を有する。

この場合のデマルチプレクサ４１１は、逆多重化により、さらに、ビットストリームから低解像度オキュパンシーマップの符号化データを抽出し、それをOMap復号部６１１に供給する。

OMap復号部６１１は、オキュパンシーマップの復号に関する処理を行う。例えば、OMap復号部６１１は、デマルチプレクサ４１１から供給される符号化データを取得する。また、OMap復号部６１１は、その符号化データを復号し、低解像度オキュパンシーマップを生成する。さらにOMap復号部６１１は、生成した低解像度オキュパンシーマップ（Occupancy map(NxN)）をOMap合成部６１２に供給する。

また、この場合の抽出部４１４は、さらに、高解像度オキュパンシーマップ（Occupancy map(1x1)）をOMap合成部６１２に供給する。

OMap合成部６１２は、オキュパンシーマップの合成に関する処理を行う。例えば、OMap合成部６１２は、OMap復号部６１１から供給される低解像度オキュパンシーマップを取得する。また、OMap合成部６１２は、抽出部４１４から供給される高解像度オキュパンシーマップを取得する。さらに、OMap合成部６１２は、その高解像度オキュパンシーマップと、低解像度オキュパンシーマップとを合成する。つまり、OMap合成部６１２は、一部の領域において高解像度であり、その他の領域において低解像度である合成オキュパンシーマップ（Occupancy map(1x1)(NxN)）を生成する。OMap合成部６１２は、生成した合成オキュパンシーマップ（Occupancy map(1x1)(NxN)）をアンパッキング部４１６に供給する。

この場合のアンパッキング部４１６は、OMap合成部６１２から供給される合成オキュパンシーマップ（Occupancy map(1x1)(NxN)）に基づいて、ジオメトリビデオフレームやカラービデオフレームをアンパッキングする。さらに、アンパッキング部４１６は、アンパッキングして得られた位置情報や属性情報のパッチ等を、３Ｄ再構築部４１７に供給する。

なお、これらの処理部（デマルチプレクサ４１１乃至３Ｄ再構築部４１７、並びに、OMap復号部６１１およびOMap合成部６１２）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

このような構成を備えることにより、この場合の復号装置４００は、＜４．局所的な高解像度のオキュパンシーマップ＞において上述したような復号を行うことができる。したがって、復号装置４００は、＜４．局所的な高解像度のオキュパンシーマップ＞において上述したような各種効果を得ることができる。したがって、復号装置４００は、符号化効率の低減を抑制しながら、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制することができる。

＜復号処理の流れ＞
次に、この場合の復号装置４００により実行される復号処理の流れの例を、図２６および図２７のフローチャートを参照して説明する。

復号処理が開始されると、復号装置４００のデマルチプレクサ４１１は、図２６のステップＳ６０１において、ビットストリームを逆多重化する。

ステップＳ６０２において、補助パッチ情報復号部４１２は、ステップＳ６０１の処理によりビットストリームから抽出された符号化データを復号し、補助パッチ情報を生成する。

ステップＳ６０３において、ビデオ復号部４１３は、ステップＳ６０１の処理によりビットストリームから抽出された符号化データを復号し、条件を満たす領域にオキュパンシーマップ情報を含むジオメトリビデオフレームを生成する。

ステップＳ６０４において、抽出部４１４は、ステップＳ６０２において生成された補助パッチ情報に含まれる特殊値に関するパラメータを用いて、ステップＳ６０３の処理により生成された、条件を満たす領域にオキュパンシーマップ情報を含むジオメトリビデオフレームから、オキュパンシーマップ情報を抽出し、高解像度オキュパンシーマップと、オキュパンシーマップ情報を含まないジオメトリビデオフレーム（Geometry video frame(s)）とを生成する。

ステップＳ６０５において、抽出部４１４は、特殊値に関するパラメータ等に基づいて、符号化の際にデプス値が補正されているか否かを判定する。例えば、デプス値が補正されていると判定された場合、処理はステップＳ６０６に進む。

ステップＳ６０６において、抽出部４１４は、デプス値を逆補正する。ステップＳ６０６の処理が終了すると処理は図２７のステップＳ６１１に進む。また、図２６のステップＳ６０５において、デプス値が補正されていないと判定された場合、ステップＳ６０６の処理がスキップされ、処理は図２７のステップＳ６１１に進む。

ステップＳ６１１において、OMap復号部６１１は、ステップＳ６０１においてビットストリームから抽出された符号化データを復号し、低解像度オキュパンシーマップを生成する。

ステップＳ６１２において、OMap合成部６１２は、図２６のステップＳ６０４の処理により生成された高解像度オキュパンシーマップと、図２７のステップＳ６１１の処理により生成された低解像度オキュパンシーマップとを合成し、合成オキュパンシーマップを生成する。

ステップＳ６１３において、ビデオ復号部４１５は、ステップＳ６０１においてビットストリームから抽出された符号化データを復号し、カラービデオフレームを生成する。

ステップＳ６１４において、アンパッキング部４１６は、ジオメトリビデオフレームやカラービデオフレームをアンパッキングし、パッチを抽出する。

ステップＳ６１５において、３Ｄ再構築部４１７は、ステップＳ６１４の処理により抽出されたパッチ等を用いて、例えばポイントクラウド等の３Ｄデータを再構築する。

ステップＳ６１５の処理が終了すると復号処理が終了する。

以上のように各処理を実行することにより、この場合の復号装置４００は、＜４．局所的な高解像度のオキュパンシーマップ＞において上述したような復号を行うことができる。したがって、復号装置４００は、＜４．局所的な高解像度のオキュパンシーマップ＞において上述したような各種効果を得ることができる。したがって、復号装置４００は、符号化効率の低減を抑制しながら、復元した３Ｄデータを２次元平面に投影した表示用画像の画質の低減を抑制することができる。

＜７．付記＞
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。

＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２８に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。

また、以上においては、本技術の適用例として符号化装置３００および復号装置４００について説明したが、本技術は、任意の構成に適用することができる。

例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） ３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータを生成するジオメトリデータ生成部と、
前記ジオメトリデータ生成部により生成された前記ジオメトリデータを符号化する符号化部と
を備える画像処理装置。
（２） 前記特殊値は、前記投影画像が存在しないことを示す
（１）に記載の画像処理装置。
（３） 前記ジオメトリデータの値域に前記特殊値を設定する特殊値設定部をさらに備え、
前記ジオメトリデータ生成部は、値域に前記特殊値設定部により設定された前記特殊値を含む前記ジオメトリデータを生成する
（１）または（２）に記載の画像処理装置。
（４） 前記特殊値設定部は、前記ジオメトリデータの値域の最小値、最大値、または中間値の内の少なくとも１つを、前記特殊値に設定する
（３）に記載の画像処理装置。
（５） 前記ジオメトリデータの値域の、前記３Ｄデータの位置を示すデプス値を表す値域と前記特殊値との間に、所定の幅のマージンを設定するマージン設定部をさらに備え、
前記ジオメトリデータ生成部は、値域に前記特殊値と前記マージン設定部により設定された前記マージンとを含む前記ジオメトリデータを生成する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記３Ｄデータの位置を示すデプス値と前記特殊値とを識別するための閾値を設定する閾値設定部をさらに備える
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記符号化部により前記ジオメトリデータから生成された符号化データを復号する復号部をさらに備え、
前記閾値設定部は、前記復号部により前記符号化データから生成された前記ジオメトリデータに基づいて、前記閾値を設定する
（６）に記載の画像処理装置。
（８） 前記ジオメトリデータ生成部は、前記３Ｄデータの位置を示すデプス値の値域を補正して、値域に前記特殊値を含む前記ジオメトリデータを生成する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記ジオメトリデータ生成部は、前記デプス値を量子化またはシフトすることにより、前記デプス値の値域を補正する
（８）に記載の画像処理装置。
（１０） 前記符号化部により前記ジオメトリデータから生成された符号化データと、前記特殊値に関するパラメータとを含むビットストリームを生成するビットストリーム生成部をさらに備える
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記パラメータは、前記特殊値を示す情報、前記３Ｄデータの位置を示すデプス値を表す値域と前記特殊値との間のマージンを示す情報、および、前記デプス値と前記特殊値とを識別するための閾値を示す情報、の内の少なくとも１つを含む
（１０）に記載の画像処理装置。
（１２） 前記ビットストリーム生成部は、前記パラメータを、パッチ、フレーム、またはシーケンス毎に含む前記ビットストリームを生成する
（１０）または（１１）に記載の画像処理装置。
（１３） 前記ジオメトリデータ生成部は、前記フレーム画像の所定の条件を満たす一部の領域のデータの値域に前記特殊値を含むジオメトリデータを生成する
（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記ジオメトリデータ生成部は、前記ジオメトリデータよりも低解像度のオキュパンシーマップ情報に基づく領域のデータの値域に前記特殊値を含む前記ジオメトリデータを生成する
（１３）に記載の画像処理装置。
（１５） ３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータを生成し、
生成された前記ジオメトリデータを符号化する
画像処理方法。

（１６） ３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータの符号化データを復号する復号部と、
前記復号部により前記符号化データから生成された前記ジオメトリデータから、前記３Ｄデータの位置を示すデプス値と前記オキュパンシーマップ情報とを抽出する抽出部と
を備える画像処理装置。
（１７） 前記抽出部は、前記特殊値に関するパラメータに基づいて、前記デプス値と前記特殊値とを抽出する
（１６）に記載の画像処理装置。
（１８） 前記抽出部は、抽出した前記デプス値の値域を補正する
（１６）または（１７）に記載の画像処理装置。
（１９） 前記抽出部により抽出された前記オキュパンシーマップ情報と、前記オキュパンシーマップ情報よりも低解像度のオキュパンシーマップ情報とを合成する合成部をさらに備える
（１６）乃至（１８）のいずれかに記載の画像処理装置。
（２０） ３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータの符号化データを復号し、
前記符号化データから生成された前記ジオメトリデータから、前記３Ｄデータの位置を示すデプス値と前記オキュパンシーマップ情報とを抽出する
画像処理方法。

３００ 符号化装置， ３１１ パッチ分解部， ３１２ パッキング部， ３１３ 補助パッチ情報圧縮部， ３１４ パラメータ生成部， ３１５ 埋め込み部， ３１６ ビデオ符号化部， ３１７ OMap復元部， ３１８ ビデオ符号化部， ３１９ マルチプレクサ， ３３１ パッチ配置部， ３３２ 高解像度オキュパンシーマップ生成部， ３３３ Dilation処理部 ４００ 復号装置， ４１１ デマルチプレクサ， ４１２ 補助パッチ情報復号部， ４１３ ビデオ復号部， ４１４ 抽出部， ４１５ ビデオ復号部， ４１６ アンパッキング部， ４１７ ３Ｄ再構築部， ５１２ パッキング部， ５１５ 埋め込み部， ５２１ OMap符号化部， ５３１ 低解像度オキュパンシーマップ生成部， ６１１ OMap復号部， ６１２ OMap合成部

Claims (20)

1. ３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータを生成するジオメトリデータ生成部と、
   前記ジオメトリデータ生成部により生成された前記ジオメトリデータを符号化する符号化部と
   を備える画像処理装置。
2. 前記特殊値は、前記投影画像が存在しないことを示す
   請求項１に記載の画像処理装置。
3. 前記ジオメトリデータの値域に前記特殊値を設定する特殊値設定部をさらに備え、
   前記ジオメトリデータ生成部は、値域に前記特殊値設定部により設定された前記特殊値を含む前記ジオメトリデータを生成する
   請求項１に記載の画像処理装置。
4. 前記特殊値設定部は、前記ジオメトリデータの値域の最小値、最大値、または中間値の内の少なくとも１つを、前記特殊値に設定する
   請求項３に記載の画像処理装置。
5. 前記ジオメトリデータの値域の、前記３Ｄデータの位置を示すデプス値を表す値域と前記特殊値との間に、所定の幅のマージンを設定するマージン設定部をさらに備え、
   前記ジオメトリデータ生成部は、値域に前記特殊値と前記マージン設定部により設定された前記マージンとを含む前記ジオメトリデータを生成する
   請求項１に記載の画像処理装置。
6. 前記３Ｄデータの位置を示すデプス値と前記特殊値とを識別するための閾値を設定する閾値設定部をさらに備える
   請求項１に記載の画像処理装置。
7. 前記符号化部により前記ジオメトリデータから生成された符号化データを復号する復号部をさらに備え、
   前記閾値設定部は、前記復号部により前記符号化データから生成された前記ジオメトリデータに基づいて、前記閾値を設定する
   請求項６に記載の画像処理装置。
8. 前記ジオメトリデータ生成部は、前記３Ｄデータの位置を示すデプス値の値域を補正して、値域に前記特殊値を含む前記ジオメトリデータを生成する
   請求項１に記載の画像処理装置。
9. 前記ジオメトリデータ生成部は、前記デプス値を量子化またはシフトすることにより、前記デプス値の値域を補正する
   請求項８に記載の画像処理装置。
10. 前記符号化部により前記ジオメトリデータから生成された符号化データと、前記特殊値に関するパラメータとを含むビットストリームを生成するビットストリーム生成部をさらに備える
    請求項１に記載の画像処理装置。
11. 前記パラメータは、前記特殊値を示す情報、前記３Ｄデータの位置を示すデプス値を表す値域と前記特殊値との間のマージンを示す情報、および、前記デプス値と前記特殊値とを識別するための閾値を示す情報、の内の少なくとも１つを含む
    請求項１０に記載の画像処理装置。
12. 前記ビットストリーム生成部は、前記パラメータを、パッチ、フレーム、またはシーケンス毎に含む前記ビットストリームを生成する
    請求項１０に記載の画像処理装置。
13. 前記ジオメトリデータ生成部は、前記フレーム画像の所定の条件を満たす一部の領域のデータの値域に前記特殊値を含むジオメトリデータを生成する
    請求項１に記載の画像処理装置。
14. 前記ジオメトリデータ生成部は、前記ジオメトリデータよりも低解像度のオキュパンシーマップ情報に基づく領域のデータの値域に前記特殊値を含む前記ジオメトリデータを生成する
    請求項１３に記載の画像処理装置。
15. ３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータを生成し、
    生成された前記ジオメトリデータを符号化する
    画像処理方法。
16. ３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータの符号化データを復号する復号部と、
    前記復号部により前記符号化データから生成された前記ジオメトリデータから、前記３Ｄデータの位置を示すデプス値と前記オキュパンシーマップ情報とを抽出する抽出部と
    を備える画像処理装置。
17. 前記抽出部は、前記特殊値に関するパラメータに基づいて、前記デプス値と前記特殊値とを抽出する
    請求項１６に記載の画像処理装置。
18. 前記抽出部は、抽出した前記デプス値の値域を補正する
    請求項１６に記載の画像処理装置。
19. 前記抽出部により抽出された前記オキュパンシーマップ情報と、前記オキュパンシーマップ情報よりも低解像度のオキュパンシーマップ情報とを合成する合成部をさらに備える
    請求項１６に記載の画像処理装置。
20. ３次元構造を表す３Ｄデータの２次元平面への投影画像が配置されたフレーム画像であって、値域にオキュパンシーマップ情報を表す特殊値を含むジオメトリデータの符号化データを復号し、
    前記符号化データから生成された前記ジオメトリデータから、前記３Ｄデータの位置を示すデプス値と前記オキュパンシーマップ情報とを抽出する
    画像処理方法。

Images