JP2022539762A - ポイントクラウドデータ処理装置及び方法 - Google Patents
ポイントクラウドデータ処理装置及び方法 Download PDFInfo
- Publication number
- JP2022539762A JP2022539762A JP2021577652A JP2021577652A JP2022539762A JP 2022539762 A JP2022539762 A JP 2022539762A JP 2021577652 A JP2021577652 A JP 2021577652A JP 2021577652 A JP2021577652 A JP 2021577652A JP 2022539762 A JP2022539762 A JP 2022539762A
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- geometry
- bitstream
- information
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 133
- 238000012545 processing Methods 0.000 title claims description 128
- 238000003672 processing method Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 description 72
- 230000011664 signaling Effects 0.000 description 48
- 230000005540 biological transmission Effects 0.000 description 45
- 238000006243 chemical reaction Methods 0.000 description 45
- 230000036961 partial effect Effects 0.000 description 42
- 238000013139 quantization Methods 0.000 description 37
- 238000007906 compression Methods 0.000 description 33
- 230000006835 compression Effects 0.000 description 33
- 238000005516 engineering process Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 10
- 238000005538 encapsulation Methods 0.000 description 9
- 238000009877 rendering Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 239000011449 brick Substances 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000002490 spark plasma sintering Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 1
- 229920000535 Tan II Polymers 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
実施例によるポイントクラウドデータ処理方法はポイントクラウドデータを符号化して送信する。実施例によるポイントクラウドデータ処理方法はポイントクラウドデータを受信して復号する。【選択図】図１
Description
実施例はユーザにＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために、ポイントクラウド(Ｐｏｉｎｔ Ｃｌｏｕｄ)コンテンツを提供する方案を提供する。
ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現でき、ＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。
実施例はポイントクラウドデータを効率的に処理するための装置及び方法を提供する。実施例は遅延(ｌａｔｅｎｃｙ)及び符号化／復号複雑度を解決するためのポイントクラウドデータ処理方法及び装置を提供する。
但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
従って、効率的にポイントクラウドデータを処理するために、実施例によるポイントクラウド処理方法は、ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化する段階、及び符号化されたポイントクラウドデータを含むビットストリームを送信する段階を含む。実施例によるジオメトリ情報はポイントクラウドデータのポイントの位置を示す情報であり、特質情報はポイントクラウドデータのポイントの特質を示す情報である。
実施例によるポイントクラウド処理装置は、ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化するエンコーダ、及び符号化されたポイントクラウドデータを含むビットストリームを送信する送信部を含む。実施例によるジオメトリ情報はポイントクラウドデータのポイントの位置を示す情報であり、特質情報はポイントクラウドデータのポイントの特質を示す情報である。
実施例によるポイントクラウド処理方法は、ポイントクラウドデータを含むビットストリームを受信する段階、及びポイントクラウドデータを復号する段階を含む。実施例によるポイントクラウドデータはジオメトリ情報及び特質情報を含む。実施例によるジオメトリ情報は前記ポイントクラウドデータのポイントの位置を示す情報であり、実施例による特質情報は前記ポイントクラウドデータのポイントの一つ又はそれ以上の特質を示す情報である。
実施例によるポイントクラウド処理装置は、ポイントクラウドデータを含むビットストリームを受信する受信機、及びポイントクラウドデータを復号するデコーダを含む。実施例によるポイントクラウドデータはジオメトリ情報及び特質情報を含む。実施例によるジオメトリ情報は前記ポイントクラウドデータのポイントの位置を示す情報であり、実施例による特質情報は前記ポイントクラウドデータのポイントの一つ又はそれ以上の特質を示す情報である。
実施例による装置及び方法は、高効率でポイントクラウドデータを処理することができる。
実施例による装置及び方法は、良質のポイントクラウドサービスを提供することができる。
実施例による装置及び方法は、ＶＲサービス、自律走行サービスなどの汎用的なサービスを提供するためのポイントクラウドコンテンツを提供することができる。
添付図面は本発明の実施例を示し、説明と共に本発明の原理を説明する。
図面は実施例をより理解するために添付し、実施例に関連する説明と共に実施例を示す。
添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。
実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。
図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。
図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。
実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
実施例による送信装置１００００は、ポイントクラウドビデオ獲得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。
実施例によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。
実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。
実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことができる。また送信装置１００００はオン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。
実施例による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。実施例において、受信装置１０００４は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。
ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。
レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。
図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。
実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。
実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などに呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などに呼ばれる。
実施例による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用することができる。
図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。
図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。
図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができる。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはジオメトリ符号化及び特質符号化に関連するシグナリング情報をさらに含む。
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化することができる。
ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。
図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。
図３は図１及び図２で説明したポイントクラウドコンテンツ提供システムのポイントクラウドビデオキャプチャー過程の一例を示す。
ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。
図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。
図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。
図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌ ｈｏｌｅ)がある場合、それを埋める動作を行うことができる。
またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。
図４は実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す図である。
図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。
図１及び図２に示したように、ポイントクラウドエンコーダはジオメトリ符号化及び特質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。
実施例によるポイントクラウドエンコーダは、座標系変換部(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｃｏｏｒｄｉｎａｔｅｓ)４００００、量子化部(Ｑｕａｎｔｉｚｅ ａｎｄ Ｒｅｍｏｖｅ Ｐｏｉｎｔｓ(Ｖｏｘｅｌｉｚｅ))４０００１、八分木分析部(Ａｎａｌｙｚｅ Ｏｃｔｒｅｅ)４０００２、表面近似分析部(Ａｎａｌｙｚｅ Ｓｕｒｆａｃｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ)４０００３、演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４０００４、ジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５、色変換部(Ｔｒａｎｓｆｏｒｍ Ｃｏｌｏｒｓ)４０００６、特質変換部(Ｔｒａｎｓｆｅｒ Ａｔｔｒｉｂｕｔｅｓ)４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部(Ｇｅｎｅｒａｔｅｄ ＬＯＤ)４０００９、リフト変換部(Ｌｉｆｔｉｎｇ)４００１０、係数量子化部(Ｑｕａｎｔｉｚｅ Ｃｏｅｆｆｉｃｉｅｎｔｓ)４００１１及び／又は演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４００１２を含む。
座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。
図示したように、実施例による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。
実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎ ｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングすることができる。実施例において、一つのボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。
実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。
実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。
実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。
色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、（各）要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ（Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。
実施例による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。
実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。
実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換することができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換することができる。
特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。
特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎ ｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙ ｓｅａｒｃｈ ｔｒｅｅ)で迅速に最短隣接点探索(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。
図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。
実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。
実施例によるＬＯＤ生成部４０００９は予測変換コーディングを行うために、ＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことが示されている。ポイントをＬＯＤによって分類できる。
実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。
実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。
実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。
図４のポイントクラウドエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅ ｍｅｍｏｒｙ ｄｅｖｉｃｅｓ)など)を含む。
図５は実施例によるボクセルの一例を示す図である。
図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドエンコーダ(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌ ｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので、省略する。
図６は実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す図である。
図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダ１０００２)又はポイントクラウドエンコーダ(例えば、八分木分析部４０００２)は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。
図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄは八分木の深さを示す。ｄ値は以下の式により決定される。以下の式において、(ｘint
n、ｙint
n、ｚint
n)は量子化されたポイントの位置(又は位置値)を示す。
図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード(ｌｅａｆ ｎｏｄｅ)がボクセルになるまで適用される。
図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄ ｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示している。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４０００４)は占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイントクラウドエンコーダは占有コードをイントラ／インターコーディングすることができる。実施例による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６)は占有コードに基づいて八分木を再構成する。
実施例によるポイントクラウドエンコーダ(例えば、図４のポイントクラウドエンコーダ、又は八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。
従って、実施例によるポイントクラウドエンコーダは、上述した特定の領域(又は八分木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ、ＤＣＭ)と呼ばれる。また実施例によるポイントクラウドエンコーダは、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅ ｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。
ダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔ ｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドエンコーダ(又は演算エンコーダ４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。
実施例によるポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。実施例によるポイントクラウドエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。実施例による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。
一つのブロックは１２個のエッジを有するので、一つのブロック内に少なくとも１２個の交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅ ａｖｅｒａｇｅ ｐｏｓｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｖｏｘｅｌｓ)。
バーテックスが検出されると、実施例によるポイントクラウドエンコーダは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングすることができる。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドエンコーダ(例えば、ジオメトリ再構成部４０００５)は三角形再構成(ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成することができる。
加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。
表．Ｔｒｉａｎｇｌｅｓ ｆｏｒｍｅｄ ｆｒｏｍ ｖｅｒｔｉｃｅｓ ｏｒｄｅｒｅｄ １
アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄ ｖｅｒｔｉｃｅ)と呼ばれる。実施例によるポイントクラウドエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドエンコーダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。
図７は実施例による隣接ノードパターンの一例を示す図である。
ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドエンコーダはコンテキスト適応演算(ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。
図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又は演算エンコーダ４０００４)は、占有コードをすぐエントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行うことができる。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔ ｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。
図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドエンコーダは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。
図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドエンコーダは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。実施例においてポイントクラウドエンコーダは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。
図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。
ポイントクラウドエンコーダ(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類する(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)。図面はＬＯＤに対応するポイントクラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示す。図において左側から２番目は最低ＬＯＤのポイントの分布を示し、最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図面の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。
図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドエンコーダだけではなく、ポイントクラウドデコーダでも行われる。
図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌ ｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤ ｂａｓｅｄ ｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。
図４で説明したように、実施例によるポイントクラウドエンコーダは予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。
実施例によるポイントクラウドエンコーダは、ポイントに対する予測機(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するための予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測機が生成される。実施例による予測機は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。
実施例による予測特質(又は特質値)は、各ポイントの予測機に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は、各ポイントの特質(特質値)から予測特質(特質値)を引いた残余値(ｒｅｓｉｄｕａｌｓ、残余特質、残余特質値、特質予測残余値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)することができる。量子化過程は以下の表の通りである。
Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ ｃｏｄｅ
Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ Ｃｏｄｅ
実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余値をエントロピーコーディングする。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。
実施例によるポイントクラウドエンコーダ(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。
１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。
２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。
３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。
４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。
５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。
６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は量子化された特質値をエントロピーコーディングする。
実施例によるポイントクラウドエンコーダ(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドエンコーダは、ボクセルから全体領域にスキャンし、各ステップもぽてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔ ｎｏｄｅ)までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙ ｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。
以下の式はＲＡＨＴ変換行列を示す。
はレベルｌでのボクセル(ｖｏｘｅｌ)の平均特質値を示す。
は
と
から計算される。
と
の加重値は
と
である。
ｇＤＣ値もハイパス係数のように量子化されてエントロピーコーディングされる。
図１０は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。
図１０に示したポイントクラウドデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコーダは一つ又はそれ以上のビットストリーム(ｂｉｔｓｔｒｅａｍ)に含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドデコーダはジオメトリデコーダ(ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ)及び特質デコーダ(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ)を出力する。特質デコーダは復号されたジオメトリ及び特質ビットストリームに基づいて特質復号を行って復号された特質(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅs)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ)するために使用される。
図１１は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。
図１１に示したポイントクラウドデコーダは図１０で説明したポイントクラウドデコーダの一例であり、図１ないし図９で説明したポイントクラウドエンコーダの符号化動作の逆過程である復号動作を行う。
図１及び図１０で説明したように、ポイントクラウドデコーダはジオメトリ復号及び特質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。
実施例によるポイントクラウドデコーダは、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１０００、八分木合成部(ｓｙｎｔｈｅｓｉｚｅ ｏｃｔｒｅｅ)１１００１、表面近似合成部(ｓｙｎｔｈｅｓｉｚｅ ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ)１１００２、ジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ)１１００３、座標系逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ)１１００４、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１００５、逆量子化部(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚｅ)１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ｇｅｎｅｒａｔｅ ＬＯＤ)１１００８、逆リフト部(Ｉｎｖｅｒｓｅ ｌｉｆｔｉｎｇ)１１００９及び／又は色逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｌｏｒｓ)１１０１０を含む。
演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４はジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程で行われる。
実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。
実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。
実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。
実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。
実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。
演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ (Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。
実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングに復号する。
実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドエンコーダの特質符号化に基づいて選択的に適用される。
実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドエンコーダの符号化によってそれに対応する復号動作を選択的に行う。
実施例による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。
図１１のポイントクラウドデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。
図１２は実施例による送信装置の一例を示す。
図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドエンコーダ)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。
実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。
データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。
実施例による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。
実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。
実施例による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダー１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。実施例によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナリング情報はインターリービングされることもある。
色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。
実施例による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。
実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。
実施例による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダ４０００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。
図１３は実施例による受信装置の一例を示す。
図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドデコーダ)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。
実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００２、占有コード(Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータ分析１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。
実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。
実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。
演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。
実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。
実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。
実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。
演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。
実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。
実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。実施例による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。
図１４は実施例によるＧ－ＰＣＣ基盤のポイントクラウドコンテンツストリーミングためのアーキテクチャを示す図である。
図１４の上側は図１ないし図１３で説明した送信装置(例えば、送信装置１００００、図１２の送信装置など)がポイントクラウドコンテンツを処理及び送信する過程を示す。
図１ないし図１３で説明したように、送信装置はポイントクラウドコンテンツのオディオ(Ｂａ)を得(Ａｕｄｉｏ Ａｃｑｕｉｓｉｔｉｏｎ)、得られたオディオを符号化(Ａｕｄｉｏ ｅｎｃｏｄｉｎｇ)してオディオビットストリーム(Ｅａ)を出力する。また送信装置はポイントクラウドコンテンツのポイントクラウド(Ｂｖ)(又はポイントクラウドビデオ)を確保し(Ｐｏｉｎｔ Ａｃｑｕｓｉｔｉｏｎ)、確保したポイントクラウドについてポイントクラウド符号化(Ｐｏｉｎｔ ｃｌｏｕｄ ｅｎｃｏｄｉｎｇ)を行ってポイントクラウドビデオビットストリーム(Ｅｂを出力する。送信装置のポイントクラウド符号化は、図１ないし図１３で説明したポイントクラウド符号化(例えば、図４のポイントクラウドエンコーダの符号化など)と同一又は類似するので具体的な説明は省略する。
送信装置は生成されたオディオビットストリーム及びビデオビットストリームをファイル及び／又はセグメントにカプセル化(Ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ)する。カプセル化されたファイル及び／又はセグメント(Ｆｓ、Ｆｉｌｅ)は、ＩＳＯＢＭＦＦなどのファイルフォーマットのファイル又はＤＡＳＨセグメントを含む。実施例によるポイントクラウド関連メタ データ(ｍｅｔａｄａｔａ)は、カプセル化されたファイルフォーマット及び／又はセグメントに含まれる。メタデータはＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックスに含まれるか、又はファイル内で別のトラックに含まれる。実施例において、送信装置はメタデータ自体を別のファイルにカプセル化することができる。実施例による送信装置は、カプセル化されたファイルフォーマット及び／又はセグメントをネットワークにより送信する。送信装置のカプセル化及び送信処理方法は図１ないし図１３で説明した通りであるので(例えば、送信機１０００３、図２の送信段階２０００２など)、具体的な説明は省略する。
図１４の下側は図１ないし図１３で説明した受信装置(例えば、受信装置１０００４、図１３の受信装置など)がポイントクラウドコンテンツを処理及び出力する過程を示している。
実施例において、受信装置は最終オディオデータ及び最終ビデオデータを出力するデバイス(例えば、スピーカー(Ｌｏｕｄｓｐｅａｋｅｒｓ)、ヘッドホン(ｈｅａｄｐｈｏｎｅｓ)、ディスプレイ(Ｄｉｓｐｌａｙ)及びポイントクラウドコンテンツを処理するポイントクラウドプレーヤー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｐｌａｙｅｒ)を含む。最終データ出力デバイス及びポイントクラウドプレーヤーは別の物理的なデバイスで構成される。実施例によるポイントクラウドプレーヤーは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又は次世代コーディングを行う。
実施例による受信装置は受信したデータ(例えば、放送信号、ネットワークにより送信される信号など)に含まれたファイル及び／又はセグメント(Ｆ',Ｆｓ')を確保し、デカプセル化(Ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ)する。受信装置の受信及びデカプセル化方法は図１ないし図１３で説明した通りであるので(例えば、受信機１０００５、受信部１３０００、受信処理部１３００１など)、具体的な説明は省略する。
実施例による受信装置は、ファイル及び／又はセグメントに含まれたオディオビットストリーム(Ｅ'ａ)及びビデオビットストリーム(Ｅ'ｖ)を確保する。図示したように、受信装置はオディオビットストリームに対してオディオ復号(ａｕｄｉｏ ｄｅｃｏｄｉｎｇ)を行って復号されたオディオデータ(Ｂ'ａ)を出力し、復号されたオディオデータをレンダリングして(ａｕｄｉｏ ｒｅｎｄｅｒｉｎｇ)最終オディオデータ(Ａ'ａ)をスピーカー又はヘッドホンなどで出力する。
また受信装置は、ビデオビットストリーム(Ｅ'ｖ)に対してポイントクラウド復号(ｐｏｉｎｔ ｃｌｏｕｄ ｄｅｃｏｄｉｎｇ)を行って復号されたビデオデータ(Ｂ'ｖ)を出力する。実施例によるポイントクラウド復号は、図１ないし図１３で説明したポイントクラウド復号と同一又は類似するので(例えば、図１１のポイントクラウドデコーダの復号など)、具体的な説明は省略する。受信装置は復号されたビデオデータをレンダリングして(ｒｅｎｄｅｒｉｎｇ)最終ビデオデータをディスプレイに出力する。
実施例による受信装置は、共に送信されたメタデータに基づいてデカプセル化、オディオ復号、オディオレンダリング、ポイントクラウド復号及びレンダリング動作のうちのいずれかを行う。メタデータに関する説明は図１２及び図１３で説明した通りであるので省略する。
図示した点線のように、実施例による受信装置(例えば、ポイントクラウドプレーヤー又はポイントクラウドプレーヤー内のセンシング／トラッキング部(ｓｅｎｓｉｎｇ／ｔｒａｃｋｉｎｇ)は、フィードバック情報(ｏｒｉｅｎｔａｔｉｏｎ、ｖｉｅｗｐｏｒｔ)を生成する。実施例によるフィードバック情報は受信装置のデカプセル化、ポイントクラウド復号過程及び／又はレンダリング過程で使用され、送信装置に伝達されることもできる。フィードバック情報に関する説明は図１ないし図１３で説明した通りであるので省略する。
図１５は実施例による送信装置の一例を示す図である。
図１５の送信装置はポイントクラウドコンテンツを送信する装置であり、図１ないし図１４で説明した送信装置(例えば、図１の送信装置１００００、図４のポイントクラウドエンコーダ、図１２の送信装置、図１４の送信装置など)の例示に該当する。従って、図１５の送信装置は図１ないし図１４で説明した送信装置の動作と同一又は類似する動作を行う。
実施例による送信装置は、ポイントクラウド獲得(ｐｏｉｎｔ ｃｌｏｕｄ ａｃｑｕｉｓｉｔｉｏｎ)、ポイントクラウド符号化(ｐｏｉｎｔ ｃｌｏｕｄ ｅｎｃｏｄｉｎｇ)、ファイル／セグメントカプセル化(ｆｉｌｅ／ｓｅｇｅｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ)及び送信(ｄｅｌｉｖｅｒｙ)のうちのいずれか又はそれ以上を行うことができる。
図示したポイントクラウド獲得及び送信動作は図１ないし図１４で説明した通りであるので具体的な説明は省略する。
図１ないし図１４で説明したように、実施例による送信装置はジオメトリ符号化及び特質符号化を行う。実施例によるジオメトリ符号化はジオメトリ圧縮(ｇｅｏｍｅｔｒｙ ｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれ、特質符号化は特質圧縮(Ａｔｔｒｉｂｕｔｅ ｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれる。上述したように、一つのポイントは一つのジオメトリと一つ又はそれ以上の特質を有する。従って、送信装置はそれぞれの特質に対して特質符号化を行う。図面では送信装置が一つ又はそれ以上の特質圧縮(Ａｔｔｒｉｂｕｔｅ ＃１ ｃｏｍｐｒｅｓｓｉｏｎ、… Ａｔｔｒｉｂｕｔｅ ＃Ｎ ｃｏｍｐｒｅｓｓｉｏｎ)を行った例示を示している。また実施例による送信装置は追加圧縮(ａｕｘｉｌｉａｒｙ ｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。追加圧縮はメタデータ(ｍｅｔａｄａｔａ)に対して行われる。メタデータに関する説明は図１ないし図１４に説明した通りであるので省略する。また送信装置はメッシュデータ圧縮(Ｍｅｓｈ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。実施例によるメッシュデータ圧縮は図１ないし図１４で説明したｔｒｉｓｏｕｐジオメトリ符号化を含む。
実施例による送信装置はポイントクラウド符号化により出力されたビットストリーム(例えば、ポイントクラウドストリーム)をファイル及び／又はセグメントにカプセル化する。実施例において、送信装置はメタデータ以外のデータ(例えば、メディアデータ)を運ぶメディアトラックカプセル化(ｍｅｄｉａ ｔｒａｃｋ ｅｎｃａｐｓｕｌａｔｉｏｎ)を行い、メタデータを運ぶメタデータトラックカプセル化(ｍｅｔａｄａｔａ ｔｒａｃａｋ ｅｎｃａｐｓｕｌａｔｉｏｎ)を行う。実施例においてメタデータはメディアトラックにカプセル化される。
図１ないし図１４に説明したように、送信装置は受信装置からフィードバック情報(オリエンテーション／ビューポートメタデータ)を受信し、受信したフィードバック情報に基づいてポイントクラウド符号化、ファイル／セグメントカプセル化及び送信動作のうちのいずれかを行う。具体的な説明は図１ないし図１４に説明した通りであるので省略する。
図１６は実施例による受信装置の一例を示す図である。
図１６の受信装置はポイントクラウドコンテンツを受信する装置であり、図１ないし図１４で説明した受信装置(例えば、図１の受信装置１０００４、図１１のポイントクラウドデコーダ、図１３の受信装置、図１４の受信装置など)の例示に該当する。従って、図１６の受信装置は図１ないし図１４で説明した受信装置の動作と同一又は類似する動作を行う。また図１６の受信装置は図１５の送信装置で送信した信号などを受け、図１５の送信装置の動作の逆過程を行うことができる。
実施例による受信装置は受信(ｄｅｌｉｖｅｒｙ)、ファイル／セグメントデカプセル化(ｆｉｌｅ／ｓｅｇｅｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ)、ポイントクラウド復号(ｐｏｉｎｔ ｃｌｏｕｄ ｄｅｃｏｄｉｎｇ)及びポイントクラウドレンダリング(ｐｏｉｎｔ ｃｌｏｕｄ ｒｅｎｄｅｒｉｎｇ)のうちのいずれか又はそれ以上を行う。
図示されたポイントクラウド受信及びポイントクラウドレンダリング動作は図１ないし図１４に説明した通りであるので具体的な説明は省略する。
図１ないし図１４に説明したように、実施例による受信装置はネットワーク又は格納装置から得たファイル及び／又はセグメントに対してデカプセル化を行う。実施例において、受信装置はメタデータ以外のデータ(例えば、メディアデータ)を運ぶメディアトラックデカプセル化(ｍｅｄｉａ ｔｒａｃｋ ｄｅｃａｐｓｕｌａｔｉｏｎ)を行い、メタデータを運ぶメタデータトラックデカプセル化(ｍｅｔａｄａｔａ ｔｒａｃａｋ ｄｅｃａｐｓｕｌａｔｉｏｎ)を行うことができる。実施例において、メタデータがメディアトラックにカプセル化された場合、メタデータトラックデカプセル化は省略される。
図１ないし図１４に説明したように、受信装置はデカプセル化により確保したビットストリーム(例えば、ポイントクラウドストリーム)に対してジオメトリ復号及び特質復号を行う。実施例によるジオメトリ復号はジオメトリ復元(ｇｅｏｍｅｔｒｙ deｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれ、特質復号は特質復元(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれる。上述したように、一つのポイントは一つのジオメトリと一つ又はそれ以上の特質を有し、それぞれ符号化される。従って、受信装置は各特質に対して特質復号を行う。図面では受信装置が一つ又はそれ以上の特質復元(Ａｔｔｒｉｂｕｔｅ ＃１ ｄｅｃｏｍｐｒｅｓｓｉｏｎ、…ｕｔｅ ＃Ｎ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行った例示を示している。また実施例による受信装置は追加復元(ａｕｘｉｌｉａｒｙ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。追加復元はメタデータに対して行われる。メタデータに関する説明は図１ないし図１４に説明した通りであるので省略する。また受信装置はメッシュデータ復元(Ｍｅｓｈ ｄａｔａ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行う。実施例によるメッシュデータ復元は図１ないし図１４で説明したｔｒｉｓｏｕｐジオメトリ復号を含む。実施例による受信装置はポイントクラウド復号によって出力されたポイントクラウドデータをレンダリングする。
図１ないし図１４に説明したように、受信装置は別のセンシング／トラッキングエレメントなどを用いてオリエンテーション／ビューポートメタデータを確保し、それを含むフィードバック情報を送信装置(例えば、図１５の送信装置)に送信することができる。また受信装置はフィードバック情報に基づいて受信動作、ファイル／セグメントデカプセル化及びポイントクラウド復号のうちのいずれかを行うことができる。具体的な説明は図１ないし図１４に説明した通りであるので省略する。
図１７は実施例によるポイントクラウドデータの送受信方法／装置に連動可能な構造の一例を示す図である。
図１７の構造はサーバー１７６０、ロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０、家電１７５０及び／又はＨＭＤ１７７０のうちのいずれかがクラウドネットワーク１７１０に連結された構成を示している。ロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０又は家電１７５０などは装置とも呼ばれる。またＸＲ装置１７３０は実施例によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。
クラウドネットワーク１７００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１７００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。
サーバー１７６０はロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０、家電１７５０及び／又はＨＭＤ１７７０のいずれかにクラウドネットワーク１７００により連結され、連結された装置１７１０～１７７０のプロセシングの少なくとも一部を助けることができる。
ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)１７７０は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパーワ供給ユニットなどを含む。
以下、上記技術が適用される装置１７１０～１７５０の様々な実施例について説明する。ここで、図１７に示した装置１７１０～１７５０は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。
＜ＰＣＣ＋ＸＲ＞
ＸＲ／ＰＣＣ装置１７３０はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。
ＸＲ／ＰＣＣ装置１７３０は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１７３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。
＜ＰＣＣ＋自立走行＋ＸＲ＞
自律走行車両１７２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。
ＸＲ／ＰＣＣ技術が適用された自律走行車両１７２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１７２０はＸＲ装置１７３０とは区分されて互いに連動されることができる。
ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１７２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１７２０はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。
この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。
実施例によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。
即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。
但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。
実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。
自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。
実施例によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。
実施例によるスケーラブル復号は、受信装置(例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置)の復号性能によって受信装置が選択的にジオメトリ及び／又は特質の一部又は全部に対して行う復号である。実施例によるジオメトリ及び特質の一部は部分ジオメトリ(ｐａｒｔｉａｌ ｇｅｏｍｅｔｒｙ)及び部分特質(ｐａｒｔｉａｌ ａｔｔｒｉｂｕｔｅ)と呼ばれる。実施例によるジオメトリに適用されるスケーラブル復号はスケーラブルジオメトリ復号又はジオメトリスケーラブル復号と呼ばれる。実施例による特質に適用されるスケーラブル復号はスケーラブル特質復号又は特質スケーラブル復号と呼ばれる。図１ないし図１７で説明したように、ポイントクラウドコンテンツのポイントは３次元空間に分布しており、分布されたポイントは八分木構造で表現される。八分木構造はオクトツリー(Ｏｃｔｒｅｅ)を構造であって、上位ノードから下位ノードの方向に深さが増加する。実施例による深さはレベル及び／又はレイヤと呼ばれる。従って、受信装置は低い解像度(ｒｅｓｏｌｕｔｉｏｎ)のポイントクラウドコンテンツを提供するために、八分木構造の上位ノードから下位ノードの方向に特定の深さ又はレベルまで対応する部分ジオメトリに対するジオメトリ復号(又はジオメトリスケーラブル復号)及び／又は部分特質に対する特質復号(又は特質スケーラブル復号)を行うことができる。また受信装置は高い解像度のポイントクラウドコンテンツを提供するために、八分木構造の全体に対応するジオメトリ及び特質復号を行うことができる。実施例による受信装置はスケーラブル復号を行って、ポイントクラウドの全体だけではなく、一部に対する表現のためのスケーラブルポイントクラウド表現(ｓｃａｌａｂｌｅ ｐｏｉｎｔ ｃｌｏｕｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)又はスケーラブル表現を提供する。実施例によるスケーラブル表現のレベルは八分木構造の深さに対応する。実施例によるレベル値が増加するほど解像度又は詳細(ｄｅｔａｉｌ)が増加する。
スケーラブル復号は様々な性能の受信装置を支援し、可変ビットレート(Ａｄａｐｔｉｖｅ ｂｉｔｒａｔｅ)の環境でも受信装置がポイントクラウドサービスを提供可能にする。しかし、特質復号はジオメトリ復号に基づいて行われるので、正確な特質復号を行うためにはジオメトリ情報が必要である。例えば、ＲＡＨＴコーディングのための変換係数(Ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)はジオメトリ分布情報(又はジオメトリ構造情報、例えば、八分木構造など)に基づいて決定される。また予測変換コーディング及びリフト変換コーディングはそれぞれのＬＯＤに属するポイントを求めるために、全体ジオメトリ分布情報(又はジオメトリ構造情報、例えば、八分木構造など)が必要である。
従って、受信装置は安定した特質復号を行うために、全てのジオメトリを受信して処理することができる。しかし、受信装置の性能によって実際ディスプレイされないジオメトリ情報を送信及び受信することはビットレートの側面では非効率的である。また受信装置が全てのジオメトリを復号すると、ポイントクラウドコンテンツサービスの提供において遅延が発生し得る。さらに受信装置のデコーダ性能が低い場合は、全てのジオメトリを復号できないこともある。
図１８は実施例によるポイントクラウドデータの送信及び受信の構成を示す。
図１８はスケーラブル復号及びスケーラブル表現のためのポイントクラウドデータの送信及び受信の構成を示す。
図１８の上側に示した例示１８００は、部分ＰＣＣビットストリーム(Ｐａｒｔｉａｌ ＰＣＣ ｂｉｔｓｔｒｅａｍ)を送信及び受信する構成の一例である。実施例による送信装置(例えば、図１で説明した送信装置１００００又は図１２で説明した送信装置)は、ソースジオメトリ(Ｓｏｕｒｃｅ ｇｅｏｍｅｔｒｙ)及びソース特質(Ｓｏｕｒｃｅ ａｔｔｒｉｂｕｔｅ)に対してスケーラブル符号化(Ｓｃａｌａｂｌｅ ｅｎｃｏｄｉｎｇ)を行わず、全体符号化を行った後に格納する。即ち、送信装置はジオメトリ及び特質の一部に対して符号化できず、選択的に受信装置が必要な一部のデータを送信することができない。従って、実施例による送信装置は、格納された符号化済みのジオメトリ及び特質を復号し、復号されたジオメトリ及び特質の一部又は全部に対して再度部分符号化のためのトランスコーディングを行って、部分ジオメトリ(Ｐａｒｔｉａｌ ｇｅｏｍｅｔｒｙ)及び部分特質(Ｐａｒｔｉａｌ ａｔｔｒｉｂｕｔｅ)を含むビットストリーム(例えば、部分ＰＣＣビットストリーム(Ｐａｒｔｉａｌ ＰＣＣ ｂｉｔｓｔｒｅａｍ))を生成する１８０１。実施例による受信装置(例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置)は、ビットストリームを受信し復号して部分ジオメトリ及び部分特質を出力する１８０２。この例示１８００に示した構成は、送信装置での更なるデータ処理(例えば、復号及びトランスコーディング)を要求するので、データ処理過程において遅延が発生し得る。
図１８の下側に示した例示１８１０は、全体ＰＣＣビットストリーム(Ｃｏｍｐｌｅｔｅ ＰＣＣ ｂｉｔｓｔｒｅａｍ)を送信及び受信する構成の一例である。実施例による送信装置(例えば、図１で説明した送信装置１００００又は図１２で説明した送信装置)は、スケーラブル符号化(Ｓｃａｌａｂｌｅ ｅｎｃｏｄｉｎｇ)を行わず、全体符号化を行って符号化されたジオメトリ及び特質を格納する。実施例による送信装置は、格納されたジオメトリ及び特質の一部に対して低質のポイントクラウドコンテンツのためのトランスコーディングを行って、全体ジオメトリ及び特質を含むビットストリーム(例えば、全体ＰＣＣビットストリーム)を生成する１８１１。実施例によるビットストリームは受信装置のスケーラブル復号のためのシグナリング情報を含む。実施例による受信装置は、ビットストリームを受信しスケーラブル復号を行ってソースジオメトリ及びソース特質を出力するか、又は復号された一部のデータを選択して部分ジオメトリ及び部分特質を出力する１８１２。この例示１８１０に示した構成は、不要なデータ(例えば、選択されないジオメトリ及び特質の一部)を送信する必要があるので、帯域幅(ｂａｎｄｗｉｄｔｈ)の効率が落ちる。また固定帯域幅を使用する場合、送信装置は符号化されたポイントクラウドデータの質を下げて送信することもできる。
図１９は実施例によるポイントクラウドデータの八分木構造及びビットストリームを示す。
実施例によるポイントクラウドコンテンツのポイントは３次元空間に分布しており、分布したポイントは八分木で表現される。図６で説明したように、八分木は境界ボックスを再帰的に分割(ｒｅｃｕｒｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)して生成される。八分木は再帰的に分割された領域に対応するノードを含む占有コードを有する。実施例によるノードは再帰的な分割によって生成される空間又は領域に対応する。従って、実施例によるノードは対応する領域内に一つ以上のポイントの存在有無によって０又は１の値を有する。例えば、ノードに対応する領域内に一つ以上のポイントが存在すると、該当ノードの値は１であり、一つ以上のポイントが存在しないと、該当ノードの値は０である。
図１９に示した例示１９００は八分木構造を示す。実施例による八分木の最上位ノードはルートノード(Ｒｏｏｔ ｎｏｄｅ)と呼ばれ、最下位ノードはリーフノード(Ｌｅａｆ ｎｏｄｅ)と呼ばれる。上述した再帰的分割によって上位ノードから下位ノードの方向にデータ量又はデータの密度が増加するので、実施例による八分木構造は三角形の形態で表現される。実施例によるルートノードは最初の深さ又は最下位レベル(例えば、レベル０)に対応する。実施例によるリーフノードは最終の深さ又は最上位レベル(例えば、レベルｎ)に対応する。図示した八分木は最上位レベル７を有する。
図８で説明したように、実施例によるポイントクラウドエンコーダ(例えば、図１のポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ、図１２、図１４及び図１５で説明したポイントクラウドエンコーダなど)は、ポイントクラウドのポイントを一つ又はそれ以上のＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)に分類する。実施例によるＬＯＤは特質符号化のために使用される。実施例によるＬＯＤは八分木構造のレベルに対応する。一つのＬＯＤは八分木構造の一つのレベルに対応するか、又は一つのＬＯＤは八分木構造の一つ又はそれ以上のレベルに対応する。例示１９００に示したように、ＬＯＤ０は八分木構造のレベル０からレベル３(又は深さ０から深さ３)に対応し、ＬＯＤ１はレベル０からレベル５(又は深さ０から深さ５)に対応し、ＬＯＤ２はレベル０から最上位レベル７(又は深さ０から深さ７)に対応する。ＬＯＤと八分木のレベル(又は深さ)の関係は上記の例示に限られない。
図１９の下側に示した例示１９１０は、ジオメトリビットストリーム及び特質ビットストリームを示す。実施例による送信装置(例えば、図１で説明した送信装置１００００又は図１２で説明した送信装置)は、ジオメトリビットストリーム及び特質ビットストリームを含むビットストリーム(例えば、図１０で説明したビットストリーム)を生成して送信する。また、送信装置は八分木構造又はＬＯＤに関係なく、ジオメトリビットストリーム及び特質ビットストリームをそれぞれスライスで構成して送信する。従って、例示１９１０に示したように、ジオメトリビットストリームはＬＯＤ０からＬＯＤ Ｎ(最上位レベルＮ、例えば、７)に対応するジオメトリを含む。特質ビットストリームはＬＯＤ０からＬＯＤ Ｎに対応する特質を含む。即ち、実施例による送信装置が図１８の例示１８００のように部分ビットストリームを送信するためには、ジオメトリビットストリーム及び特質ビットストリームをそれぞれ復号し、送信に必要な部分ジオメトリ及び部分特質を選択して再び符号化を行う必要がある。
また受信装置(例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置)は、図１８の例示１８１０で説明したように、例示１９１０に示したビットストリームを受信すると、全てのビットストリームを復号して、必要な一部データのみを選択して部分ジオメトリ及び部分特質を出力する(例えば、図１８で説明した受信装置の動作１８１２)。
従って、実施例による送信装置(又はポイントクラウドエンコーダ)は、不要なデータ送信を減らし、データ処理時間を短縮するために、ジオメトリビットストリーム及び／又は特質ビットストリームをレイヤ(Ｌａｙｅｒ)単位に分けて送信する。実施例によるポイントクラウドデータはＳＮＲ(Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ)、空間解像度(ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ)、色相(ｃｏｌｏｒ)、時間周波数(ｔｅｍｐｏｒａｌ ｆｒｅｑｕｅｎｃｙ)、ビット深さ(Ｂｉｔ ｄｅｐｔｈ)などの様々なパラメータ、変数に基づくレイヤ構造を有する。また実施例によるポイントクラウドデータのレイヤ構造は、上述した八分木構造の深さ(レベル)及び／又はＬＯＤのレベルに基づく。例えば、ポイントクラウドデータのレイヤは八分木構造の各深さ又は一つ又はそれ以上の深さに対応する。ポイントクラウドデータのレイヤはＬＯＤの各レベル又は一つ又はそれ以上のレベルに対応する。実施例によるジオメトリビットストリームのレイヤは特質ビットストリームのレイヤと同一であるか又は異なる。例えば、ジオメトリビットストリームのレイヤが３である場合、特質ビットストリームのレイヤは３である。またジオメトリビットストリームのレイヤが３である場合は、特質ビットストリームのレイヤは２又は４である。
図２０は実施例によるポイントクラウドデータ処理装置の一例を示す。
図２０に示す実施例によるポイントクラウドデータ処理装置２０００は、図１で説明した送信装置１００００又は図１２で説明した送信装置の一例である。ポイントクラウドデータ処理装置２０００は、図１ないし図１７で説明した送信装置の動作と同一又は類似する動作を行う。ポイントクラウドデータ処理装置２０００は、図２０には示していないが、図１ないし図１７で説明した符号化動作を行うための一つ又はそれ以上のエレメントをさらに含む。
ポイントクラウドデータ処理装置２０００は、ジオメトリエンコーダ(Ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｅｒ)２０１０、特質エンコーダ(Ａｔｔｒｉｂｕｔｅ ｅｎｃｏｄｅｒ)２０２０、サブビットストリーム生成器(Ｓｕｂ-ｂｉｔｓｔｒｅａｍ ｇｅｎｅｒａｔｏｒ)２０３０、メタデータ生成器(Ｍｅｔａｄａｔａ ｇｅｎｅｒａｔｏｒ)２０４０、多重化器(Ｍｕｘ)２０５０及び送信機(Ｔｒａｎｓｍｉｔｔｅｒ)２０６０を含む。
実施例によるポイントクラウドデータ(又はポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＰＣＣ)データ)は、ポイントクラウドエンコーダ１８００の入力データとしてジオメトリ及び／又は特質を含む。実施例によるジオメトリはポイントの位置(例えば、ポジション)を示す情報であって、直交座標系、円筒座標系、球面座標系などの座標系のパラメータで表現される。実施例による特質はポイントの特質(例えば、色相、透明度、反射度、グレースケールなど)を示す。ジオメトリはジオメトリ情報(又はジオメトリデータ)とも呼ばれ、特質は特質情報(又は特質データ)とも呼ばれる。
ジオメトリエンコーダ２０１０は、図１ないし図１７で説明したジオメトリコーディング(又はジオメトリ符号化)を行ってジオメトリビットストリームを出力する。ジオメトリエンコーダ２０１０の動作は、図４で説明した座標系変換部４００００、量子化４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５の動作と同一又は類似する。また、ジオメトリエンコーダ２０１０の動作は、図１２で説明したデータ入力部１２１００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダ１２００６及びメタデータ処理部１２００７の動作と同一又は類似する。
特質エンコーダ２０２０は、図１ないし図１７で説明した特質コーディング(又は特質符号化)を行って特質ビットストリームを出力する。特質エンコーダ２０２０の動作は、
図４で説明したジオメトリ再構成部４０００５、色相変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２の動作と同一又は類似する。また、特質エンコーダ２０２０の動作は、図１２で説明した色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２１１０及び演算(Ａｒｉｔｈｍｅｔｉｃ)コーダ１２０１１の動作と同一又は類似する。
実施例によるサブビットストリーム生成器２０３０は、ジオメトリビットストリーム及び特質ビットストリームを受信し、ジオメトリビットストリーム及び特質ビットストリームをそれぞれレイヤ単位にレイヤリング(Ｌａｙｅｒｉｎｇ)して、一つ又はそれ以上のサブビットストリーム(Ｓｕｂ-ｂｉｔｓｔｒｅａｍ)を生成する。実施例によるサブビットストリームはジオメトリサブビットストリーム及び特質サブビットストリームを含む。図１９で説明したように、実施例によるレイヤ構造は八分木構造及び／又はＬＯＤに基づく。サブビットストリーム生成器２０３０は、各レイヤに対応するサブビットストリームの整列順序に変更して整列されたレイヤごとの一つ又はそれ以上のサブビットストリーム(例えば、同じレイヤに該当するジオメトリサブビットストリーム及び特質サブビットストリーム)を出力する。実施例によるジオメトリビットストリーム及び特質ビットストリームのレイヤ分割又はレイヤに対するレイヤリング構造情報(ｌａｙｅｒｉｎｇ ｓｔｒｕｃｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ)はメタデータ生成器２０４０に伝達される。
メタデータ生成器２０４０はジオメトリエンコーダ２０１０のジオメトリコーディング、特質エンコーダ２０２０の特質コーディング及びサブビットストリーム生成器２０３０のレイヤ構造に関連するシグナリング情報を生成及び／又は処理する。メタデータ生成器２０２０の動作は図１２で説明したメタデータ処理部１２００７の動作と同一又は類似する。
多重化器２０５０は一つ又はそれ以上のサブビットストリーム及びメタデータ生成器２０４０で出力されたパラメータを多重化して出力する。実施例による送信機２０６０は多重化器２０５０で出力されたデータを受信装置に送信する。送信機２０６０は図１で説明した送信機１０００３の一例であり、送信機１０００３の動作と同一又は類似する動作を行う。
図２１はジオメトリビットストリーム及び特質ビットストリームのレイヤの一例である。
図１８ないし図２０で説明したように、実施例によるポイントクラウドデータ処理装置(例えば、図２０のポイントクラウドデータ処理装置２０００又はサブビットストリーム生成器２０４０)は、ジオメトリビットストリーム及び特質ビットストリームをレイヤに基づいてレイヤリングして一つ又はそれ以上のサブビットストリームを生成する。図２１の例示２１００はＬＯＤ基盤のジオメトリビットストリーム及び特質ビットストリームのレイヤ構造を示す。
図９で説明したように、低いレベルのＬＯＤに含まれたポイントは高いレベルのＬＯＤに含まれる。図１９で説明したように、ジオメトリビットストリーム２１１０は全体ＬＯＤに対応する。従って、ポイントクラウドデータ処理装置は、最も高いＬＯＤにのみ含まれるジオメトリ情報を基準としてジオメトリビットストリームをレイヤリングして一つ又はそれ以上のサブビットストリームを生成する。ポイントクラウドデータ処理装置は、ジオメトリビットストリーム２１１０をレイヤリングしてＬＯＤ０、ＬＯＤ１及びＬＯＤ２に対応する第１ジオメトリを含む第１ジオメトリサブビットストリーム２１１１、ＬＯＤ１及びＬＯＤ２に対応する第２ジオメトリＲ１を含む第２ジオメトリサブビットストリーム２１１２、及びＬＯＤ２のみに対応する第３ジオメトリＲ２を含む第３ジオメトリサブビットストリーム２１１３を生成する。各々のジオメトリサブビットストリームはヘッダ(図においてグレー処理したボックス)とペイロードを含む。
図１９で説明したように、特質ビットストリーム２１２０は全体ＬＯＤに対応する。従って、ポイントクラウドデータ処理装置は、最も高いＬＯＤにのみ含まれる特質情報を基準として特質ビットストリームをレイヤリングして一つ又はそれ以上のサブビットストリームを生成する。ポイントクラウドデータ処理装置は、特質ビットストリーム２１２０をレイヤリングしてＬＯＤ０、ＬＯＤ１及びＬＯＤ２に対応する第１特質を含む第１特質サブビットストリーム２１２１、ＬＯＤ１及びＬＯＤ２に対応する第２特質Ｒ１を含む第２特質サブビットストリーム２１２２及びＬＯＤ２のみに対応する第３特質Ｒ２を含む第３特質サブビットストリーム２１２３を生成する。各々の特質サブビットストリームはヘッダ(図においてグレー処理したボックス)とペイロードを含む
実施例によるポイントクラウドデータ処理装置は一つ又はそれ以上のサブビットストリームの整列順を変更できる。
図２２は実施例によるサブビットストリームの整列方法の一例である。
図２２の例示２２００は直列的に整列されたジオメトリサブビットストリーム及び特質サブビットストリームを示す。
実施例によるポイントクラウドデータ処理装置(例えば、図１で説明した送信装置１００００又は図１２で説明した送信装置)は、一つ又はそれ以上のジオメトリサブビットストリーム２２０１(例えば、図２１で説明したＬＯＤ０、ＬＯＤ１及びＬＯＤ２に対応する第１ジオメトリを含む第１ジオメトリサブビットストリーム２１１１、ＬＯＤ１及びＬＯＤ２に対応する第２ジオメトリＲ１を含む第２ジオメトリサブビットストリーム２１１２、及びＬＯＤ２のみに対応する第３ジオメトリＲ２を含む第３ジオメトリサブビットストリーム２１１３)を先に整列する。その後、ポイントクラウドデータ処理装置は、一つ又はそれ以上の特質サブビットストリーム(例えば、図２１で説明したＬＯＤ０、ＬＯＤ１及びＬＯＤ２に対応する第１特質を含む第１特質サブビットストリーム２１２１、ＬＯＤ１及びＬＯＤ２に対応する第２特質Ｒ１を含む第２特質サブビットストリーム２１２２、及びＬＯＤ２のみに対応する第３特質Ｒ２を含む第３特質サブビットストリーム２１２３)を整列して送信する。実施例による受信装置(例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置)は、ジオメトリサブビットストリームを先に復元し、復元されたジオメトリ(又はジオメトリ情報)に基づいて特質サブビットストリームを復元する。
図２２の例示２２１０は並列的に整列されたジオメトリサブビットストリーム及び特質サブビットストリームを示す。実施例によるポイントクラウドデータ処理装置は、同じレイヤに対応するサブビットストリームを共に整列して送信する。ポイントクラウドデータ処理装置は、ＬＯＤ０、ＬＯＤ１及びＬＯＤ２に対応する第１ジオメトリを含む第１ジオメトリサブビットストリーム(例えば、図２１の第１ジオメトリサブビットストリーム２１１１)及びＬＯＤ０、ＬＯＤ１及びＬＯＤ２に対応する第１特質を含む第１特質サブビットストリーム(例えば、図２１の第１特質サブビットストリーム２１２１)を先に整列する２２１１。ポイントクラウドデータ処理装置は、ＬＯＤ１及びＬＯＤ２に対応する第２ジオメトリＲ１を含む第２ジオメトリサブビットストリーム(例えば、図２１の第２ジオメトリサブビットストリーム２１１２)及びＬＯＤ１及びＬＯＤ２に対応する第２特質Ｒ１を含む第２特質サブビットストリーム(図２１の第２特質サブビットストリーム２１２２)を整列する２２１２。ポイントクラウドデータ処理装置は、ＬＯＤ２のみに対応する第３ジオメトリＲ２を含む第３ジオメトリサブビットストリーム(例えば、図２１の第３ジオメトリサブビットストリーム２１１３)及びＬＯＤ２のみに対応する第３特質Ｒ２を含む第３特質サブビットストリーム(例えば、図２１の第３特質サブビットストリーム２１２３)を整列する２２１３。従って、受信装置はジオメトリ復号及び特質復号を並列的に行って復号実行時間を短縮することができる。また特質復号はジオメトリ復号に基づいて行われるので、受信装置は小さいレイヤ(ＬＯＤ０)に対応するジオメトリを処理し、同じレイヤの特質を処理することができる。
ポイントクラウドデータ処理装置(例えば、図２０で説明したポイントクラウドデータ処理装置２０００)は図２１及び図２２で説明したジオメトリサブビットストリーム及び特質サブビットストリームを多重化してビットストリームの形態で送信する。
ポイントクラウドデータ送信装置は送信チャネルのエラーを考慮してポイントクラウドデータの映像を一つ又はそれ以上のパケットに分けてネットワークにより送信する。実施例によるビットストリームは一つ又はそれ以上のパケット(例えば、ＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ)ユニット)を含む。従って、劣悪なネットワーク環境において一部のパケットが損失されても、ポイントクラウドデータ受信装置は残りのパケットを用いて該当映像を復元することができる。ポイントクラウドデータを一つ又はそれ以上のスイス又は一つ又はそれ以上のタイルに分割して処理することができる。実施例によるタイル及びスライスはポイントクラウドデータのピクチャを分割(ｐａｒｔｉｔｉｏｎｉｎｇ)してポイントクラウド圧縮コーディング処理するための領域である。ポイントクラウドデータ送信装置はポイントクラウドデータの分かれた領域ごとの重要度によって、それぞれの領域に対応するデータを処理して高品質のポイントクラウドコンテンツを提供する。即ち、実施例によるポイントクラウドデータ送信装置は、ユーザに重要な領域に対応するデータに対しては、さらに良い圧縮効率と適切な遅延を有するポイントクラウド圧縮コーディング処理を行うことができる。
実施例によるポイントクラウドコンテンツの映像(又はピクチャ(ｐｉｃｔｕｒｅ))はポイントクラウド圧縮コーディングのための基本プロセシングユニット単位に分割される。実施例によるポイントクラウド圧縮コーディングのための基本プロセシングユニットはＣＴＵ(Ｃｏｄｉｎｇ Ｔｒｅｅ ｕｎｉｔ)、ブリック(ｂｒｉｃｋ)などを含むが、上記例示に限られない。
実施例によるスライスは一つ又はそれ以上の整数個のポイントクラウド圧縮コーディングのための基本プロセシングユニットを含む領域であり、矩形状ではない。実施例によるスライスはパケットにより送信されるデータを含む。実施例によるタイルは映像内に矩形状に分割された領域であって一つ又はそれ以上のポイントクラウド圧縮コーディングのための基本プロセシングユニットを含む。実施例による一つのスライスは一つ又はそれ以上のタイルに含まれる。また実施例による一つのタイルは一つ又はそれ以上のスライスに含まれる。
実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、及びタイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及び一つ又はそれ以上のスライスを含む。
実施例によるＳＰＳはプロファイル、レベルなどのシーケンス全体に対する符号化情報として、ピクチャ解像度、ビデオフォーマットなどのファイル全体に対する包括的な情報を含む。
実施例による一つのスライスはスライスヘッダ及びスライスデータを含む。スライスデータは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。ジオメトリビットストリームはヘッダ(例えば、ジオメトリスライスヘッダ)及びペイロード(例えば、ジオメトリスライスデータ)を含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。特質ビットストリームはヘッダ(例えば、特質スライスヘッダ又は特質ブリックヘッダ)及びペイロード(例えば、特質スライスデータ又は特質ブリックデータ)を含む。
図１８ないし図２２で説明したように、実施例によるポイントクラウドデータ処理装置(例えば、図１で説明した送信装置１００００又は図１２で説明した送信装置)は、サブビットストリームを生成するためのジオメトリビットストリーム及び特質ビットストリームのレイヤ分割又はレイヤリングに関するレイヤリング構造情報を生成する。実施例によるポイントクラウドデータ処理装置は、スケーラブル表現のためにジオメトリビットストリーム及び特質ビットストリームの一部(例えば、図２０ないし図２２で説明したジオメトリサブビットストリーム、特質サブビットストリーム)又は全体を送信する。また実施例によるレイヤ分割されたジオメトリビットストリーム、即ち、ジオメトリサブビットストリームはスライスに含まれる。実施例によるジオメトリサブビットストリームを含むスライスはジオメトリスライスと呼ばれる。実施例によるレイヤ分割された特質ビットストリーム、即ち、特質サブビットストリームはスライス(特質スライス)に含まれる。実施例による特質サブビットストリームを含むスライスは特質スライスと呼ばれる。
図２３は実施例によるＳＰＳの一例を示す。
図２３は実施例によるＳＰＳのためのシンタックスの一例であって、以下の情報(フィールド、パラメータなど)を含む。
ｐｒｏｆｉｌｅ_ｉｄｃはビットストリームのプロファイルを示す。この情報は特定の値を有する。特定の値以外の他の値は追って使用するために保留される(ｒｅｓｅｒｖｅｄ)。
ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇｓはビットストリームがｐｒｏｆｉｌｅ_ｉｄｃ値(例えば、ｊ)が示すプロファイルによるビットストリームであるか否かを示す。ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇｓの値が１である場合、ＳＰＳが適用されるビットストリームはｐｒｏｆｉｌｅ_ｉｄｃ値(例えば、ｊ)が示すプロファイルによるビットストリームである。ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇｓの値が０である場合、ＳＰＳが適用されるビットストリームは許容されるｐｒｏｆｉｌｅ_ｉｄｃ値ではない値が示すプロファイルをよるビットストリームである。
ｌｅｖｅｌ_ｉｄｃはビットストリームのレベルを示す。この情報は特定の値を有する。特定の値以外の他の値は追って使用するために保留される(ｒｅｓｅｒｖｅｄ)。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇはソース境界ボックスオフセット(ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｏｆｆｓｅｔ)及びサイズ情報がＳＰＳでシグナリングされるか否かを示す。実施例によるソース境界ボックスは３次元座標系(例えば、Ｘ、Ｙ、Ｚ軸)で表現される３次元空間上のボックス(例えば、図５で説明した境界ボックスなど)であって、ポイントクラウドデータのポイントを含む。ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１であると、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇはソース境界ボックスオフセット及びサイズ情報がＳＰＳでシグナリングされることを示す。ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０であると、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇはソース境界ボックスオフセット及びサイズ情報がＳＰＳでシグナリングされないことを示す。
以下はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１である場合、ソース境界ボックスに関連する情報である。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘは直交座標系(ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ)内のソース境界ボックスのｘオフセットを示す。ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ情報が存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘの値は０と推論される。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙは直交座標系(ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ)内のソース境界ボックスのｙオフセットを示す。ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ情報が存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙの値は０と推論される。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚは直交座標系(ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ)内のソース境界ボックスのｚオフセットを示す。ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ情報が存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚの値は０と推論される。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒは直交座標系内のソース境界ボックスの倍率(ｓｃａｌｅ ｆａｃｔｏｒ)を示す。ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒが存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒの値は１と推論される。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈは直交座標系内のソース境界ボックスの幅(ｗｉｄｔｈ)を示す。ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈが存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈの値は１と推論される。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔは直交座標系内のソース境界ボックスの高さ(ｈｅｉｇｈｔ)を示す。ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ が存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔの値は１と推論される。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈは直交座標系内のソース境界ボックスの深さ(ｄｅｐｔｈ)を示す。ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈが存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈの値は１と推論される。
ｓｐｓ_ｓｏｕｒｃｅ_ｓｃａｌｅ_ｆａｃｔｏｒはソースポイントクラウド(ポイントクラウドデータ)の倍率(ｓｃａｌｅ ｆａｃｔｏｒ)を示す。実施例による倍率は浮動小数点(ｆｌｏａｔｉｎｇ ｐｏｉｎｔ)又は整数で表現される。
ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは該当ＳＰＳを識別するための識別子(ｉｄｅｎｔｉｆｉｅｒ)を提供する。この情報はＳＰＳを参照(ｒｅｆｅｒｅｎｃｅ)する他のシンタックス(例えば、ＧＰＳ、ＡＰＳ)などのために提供される。実施例の範囲内でｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は０になる。０ではない他の値は追って使用するために保留される。
ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓはビットストリーム内の符号化された特質の個数を示す。実施例によるｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓの値は０から６３に表現される範囲内に存在する。以下はＳＰＳ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓが示す一つ又はそれ以上の符号化された特質に対して、各特質に関する情報である。図示したｉはそれぞれの特質を示す。
ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ｉ]はｉ番目の特質のコンポーネントの個数を示す。実施例による特質は反射率、色相などを示す。従って、特質が有するコンポーネントの個数は異なる。例えば、色相に対応する特質は３つの色相コンポーネント(例えば、ＲＧＢ)を有する。従って、反射率(ｒｅｆｌｅｃｔａｎｃｅ)に対応する特質は１次元的特質(ｍｏｎｏ-ｄｉｍｅｎｓｉｏｎａｌ ａｔｔｒｉｂｕｔｅ)になり、色相に対応する特質は３次元的特質(ｔｈｒｅｅ-ｄｉｍｅｎｓｉｏｎａｌ ａｔｔｒｉｂｕｔｅ)になり得る。
ａｔｔｒｉｂｕｔｅ_ｉｎｓｔａｎｃｅ_ｉｄ[ｉ]はｉ番目の特質のインスタンスＩＤ(ｉｎｓｔａｎｃｅ_ｉｄ)を示す。
ａｔｔｒｉｂｕｔｅ_ｂｉｔｄｅｐｔｈ[ｉ]はｉ番目の特質のビット深さ(ｂｉｔｄｅｐｔｈ)を示す。
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｃｏｌｏｕｒ_ｐｒｉｍａｒｉｅｓ[ｉ]はｉ番目の特質の色相特質ソースプライマリ(ｃｏｌｏｕｒ ａｔｔｒｉｂｕｔｅ ｓｏｕｒｃｅ ｐｒｉｍａｒｉｅｓ)(例えば、白色及び黒色など)の色度座標系(ｃｈｒｏｍａｔｉｃｉｔｙ ｃｏｏｒｄｉｎａｔｅｓ)の座標値を示す。
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｔｒａｎｓｆｅｒ_ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ[ｉ]はｉ番目の特質(色相特質)のＯＴＦ(Ｏｐｔｉｃａｌ-ｅｌｅｃｔｒｏ Ｔｒａｎｓｆｅｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｆｕｎｃｔｉｏｎ)又は逆ＯＴＦを示す。実施例によるＯＴＦは、０から１までの公称値が与えられた範囲(ｎｏｍｉｎａｌ ｒｅａｌ－ｖａｌｕｅｄ ｒａｎｇｅ)のソース入力線形光学強度(Ｓｏｕｒｃｅ Ｉｎｐｕｔ ｌｉｎｅａｒ Ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ、Ｌｃ)の関数である。実施例による逆ＯＴＦは、０から１までの公称値が与えられた範囲(ｎｏｍｉｎａｌ ｒｅａｌ－ｖａｌｕｅｄ ｒａｎｇｅ)の出力線形光学強度(Ｏｕｔｐｕｔ ｌｉｎｅａｒ Ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ、Ｌｏ)の関数である。
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｍａｔｒｉｘ_ｃｏｅｆｆｓ[ｉ]はｉ番目の特質の緑色、青色及び赤色又はＹ、Ｚ及びＸプライマリからルマ(ｌｕｍａ)及びクロマ(ｃｈｏｒｏｍａ)信号を導き出すために使用されるマトリックスの係数を示す。
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｖｉｄｅｏ_ｆｕｌｌ_ｒａｎｇｅ_ｆｌａｇ[ｉ]はｉ番目の特質に対して、Ｅ′′及びＥ′又はＥ′′及びＥ′コンポーネント信号(ｒｅａｌ-ｖａｌｕｅｄ ｃｏｍｐｏｎｅｎｔ ｓｉｇｎａｌｓ)抽出されたルマ及びクロマ信号のブラックレベル(ｂｌａｃｋ ｌｅｖｅｌ)及び範囲を示す。
ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]はｉ番目の特質のためにｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌがシグナリングされるか否かを示す。ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]の値が１であると、ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]はｉ番目の特質のためにｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌがシグナリングされることを示す。ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]の値が０であると、ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]はｉ番目の特質のためにａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓ[ｉ]がシグナリングされることを示す。
以下はｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]の値が１である時にシグナリングされるｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]である。
ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ]は０から２のうちのいずれの値を有する。
ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]の値が０であると、該当特質は色相又カラー(ｃｏｌｏｒ)である。
ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]の値が１であると、該当特質は反射率(ｒｅｆｌｅｃｔａｎｃｅ)である。
ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]の値が２であると、該当特質はフレームインデックスである。
以下はｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]の値が０である時にシグナリングされるａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓ[ｉ]である。
ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓ[ｉ]は４バイトのコードで知られた特質タイプ(Ｋｎｏｗｎ ａｔｔｒｉｂｕｔｅ ｔｙｐｅ)を示す。ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓ[ｉ]の値が０である場合、特質タイプは色相又はカラー(ｃｏｌｏｒ)である。ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓ[ｉ]の値が１である場合、特質タイプは反射率(ｒｅｆｌｅｃｔａｎｃｅ)である。
以下はスライスに関連する情報である。
ｓｐｌｉｔ_ｓｌｉｃｅ_ｆｌａｇはポイントクラウドデータが一つ又はそれ以上のスライスに分かれるか否かを示す。ｓｐｌｉｔ_ｓｌｉｃｅ_ｆｌａｇの値が１である場合、ｓｐｌｉｔ_ｓｌｉｃｅ_ｆｌａｇはポイントクラウドデータ(ジオメトリビットストリーム、特質ビットストリーム)が一つ又はそれ以上のスライスに分かれるか否かを示す。ｓｐｌｉｔ_ｓｌｉｃｅ_ｆｌａｇの値が０である場合、ｓｐｌｉｔ_ｓｌｉｃｅ_ｆｌａｇはポイントクラウドデータ(ジオメトリビットストリーム、特質ビットストリーム)が一つのスライスに含まれることを示す。ｓｐｌｉｔ_ｓｌｉｃｅ_ｆｌａｇの値が１である場合、ＳＰＳはｓｐｌｉｔ_ｔｙｐｅを含む。
ｓｐｌｉｔ_ｔｙｐｅはポイントクラウドデータを一つ又はそれ以上のスライスに分かれる方法、方法のタイプ、ジオメトリビットストリーム及び特質ビットストリームのレイヤリング方法又はタイプを示す。例えば、ｓｐｌｉｔ_ｔｙｐｅの値が０であると、ｓｐｌｉｔ_ｔｙｐｅはポイントクラウドデータがＬＯＤに基づいて一つ又はそれ以上のスライス(例えば、図２０及び図２１で説明したジオメトリサブビットストリーム又は特質サブビットストリーム)に分かれていることを示す。例えば、図２１及び図２２で説明したように、最大ＬＯＤを基準として分割されたポイントクラウドデータ(例えば、ジオメトリサブビットストリーム２１１３、特質サブビットストリーム２１２３)は一つのスライスに含まれる。ｓｐｌｉｔ_ｔｙｐｅの値が１であると、ｓｐｌｉｔ_ｔｙｐｅはポイントクラウドデータが八分木構造のレベルによって一つ又はそれ以上のスライス(例えば、図２０及び図２１で説明したジオメトリサブビットストリーム又は特質サブビットストリーム)に分かれていることを示す。例えば、一つのスライスは八分木レベル基盤にサンプリングされたポイントクラウドデータ(例えば、特質をマッチングしたカラー化された八分木構造のレベルに基づいてサンプリングされたポイントクラウドデータ)を含む。即ち、実施例によるジオメトリサブビットストリームは八分木レベルに対応する。
ｓｐｌｉｔ_ｔｙｐｅの値が０である場合、ＳＰＳは以下の情報を含む。
Ｎｕｍ_ＬＯＤはＬＯＤの個数を示す。上述したように、ポイントクラウドデータはＬＯＤの個数によって一つ又はそれ以上のスライスに分割される。
ｆｕｌｌ_ｒｅｓ_ｆｌａｇは全体ＬＯＤ又は一部ＬＯＤに対応するポイントクラウドデータが送信されるか否かを示す。ｆｕｌｌ_ｒｅｓ_ｆｌａｇの値が１である場合、ｆｕｌｌ_ｒｅｓ_ｆｌａｇは全体ＬＯＤに対応するジオメトリ及び特質が送信されることを示す。即ち、ｆｕｌｌ_ｒｅｓ_ｆｌａｇの値が１である場合、ｆｕｌｌ_ｒｅｓ_ｆｌａｇはポイントクラウドデータの全体を構成する情報が送信されることを示す。ｆｕｌｌ_ｒｅｓ_ｆｌａｇの値が０である場合、ｆｕｌｌ_ｒｅｓ_ｆｌａｇは一部ＬＯＤに対応するジオメトリ及び特質が送信されることを示す。従って、受信装置はこの情報に基づいて図１８及び図１９で説明したように、様々な解像度のポイントクラウドコンテンツを提供する。
ｆｕｌｌ_ｒｅｓ_ｆｌａｇの値が０である場合、ＳＰＳは以下の情報を含む。
ｆｕｌｌ_ｇｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇは全体ジオメトリが送信されるか否かを示す。ｆｕｌｌ_ｇｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１である場合、ｆｕｌｌ_ｇｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇは全体ジオメトリが送信されることを示す(全体特質送信に関係なく)。従って、受信装置は一部ＬＯＤに対応する特質を受信しても、全体ジオメトリを復元して全体ＬＯＤに対応する特質を復元することができる。ｆｕｌｌ_ｇｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０である場合、ｆｕｌｌ_ｇｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇは部分ジオメトリが送信されることを示す。部分ジオメトリは送信された部分特質と同一のＬＯＤに対応する。部分ジオメトリが送信された部分特質とは異なるＬＯＤに対応する場合、部分ジオメトリに対応するＬＯＤ及び部分特質に対応するＬＯＤに関する情報が別途にシグナリングされる。
ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇはスライスヘッダに追加情報が送信されるか否かを示す。ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇの値が１であると、ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇはスライスヘッダに追加情報が送信されることを示す。ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇの値が０であると、ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇはスライスヘッダに追加情報が送信されないことを示す。
ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇはＳＰＳシンタックス構造内にｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が存在するか否かを示す。ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０であると、ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇはｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が存在しないことを示す。ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１であると、ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇはＳＰＳ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が存在することを示す。
ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇは任意の値を有する。この情報の存在及び値は受信装置の復号性能に影響を及ぼさない。
図２３に示した実施例によるＳＰＳのためのシンタックスは、上記の例示に限られず、図示していない追加情報(又はフィールド、パラメータなど)をさらに含む。
図２４は実施例によるジオメトリスライスビットストリームのためのシンタックスの一例である。
図２４はポイントクラウドデータが一つ又はそれ以上のスライスに分かれる場合、一つのスライスに対応するジオメトリビットストリーム(又はジオメトリスライスビットストリーム)のためのシンタックスの一例である。
図２４に示した１番目のシンタックス２４００は、実施例によるジオメトリスライスビットストリームのためのシンタックスの一例を示す。ジオメトリスライスビットストリームはジオメトリスライスヘッダ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｈｅａｄｅｒ)及びジオメトリスライスデータ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｄａｔａ)を含む。
図２４に示した２番目のシンタックス２４１０は、実施例によるジオメトリスライスヘッダのためのシンタックスの一例である。ジオメトリスライスヘッダのためのシンタックスは以下の情報(又はフィールド、パラメータなど)を含む。
ｇｓｈ_ｇｅｏｍｅｔｒｙ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄはアクティブＧＰＳの識別子又は識別子の値を示す。
ｇｓｈ_ｔｉｌｅ_ｉｄはジオメトリスライスヘッダが参照するタイルの識別子又は識別子の値を示す。実施例によるｇｓｈ_ｔｉｌｅ_ｉｄの値は０から任意の値までの範囲内である。
ｇｓｈ_ｓｌｉｃｅ_ｉｄは他のシンタックスにより参照されるスライスヘッダを識別する。ｇｓｈ_ｓｌｉｃｅ_ｉｄの値は０から任意の値までの範囲内である。
ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇはこのスライスが独立的に復号できるか否かを示す。ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値が１である場合、ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇはこのスライスが独立的に復号できることを示す。ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値が０である場合、ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇはこのスライスが独立的に復号できないことを示す。従って、受信装置(例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置)は、他のスライスに基づいてこのスライスを復号する。
図１ないし図２２で説明したように、ＬＯＤレベルが高いほどＬＯＤレベルが低いポイントクラウドデータを参照しなければならない。よって、図２３で説明したｓｐｌｉｔ_ｔｙｐｅの値が０である場合、ＬＯＤ０に対応するスライスのｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値は１であり、残りのＬＯＤ１ないしＬＯＤ Ｎに対応するスライスのｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値は０である。
以下はｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値が１である場合、関連する情報を示す。
ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇはこのスライスのための境界ボックスが存在するか否かを示す。ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１である場合、ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇはこのスライスのための境界ボックスが存在することを示す。ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１である場合は、ジオメトリスライスヘッダのためのシンタックスは以下の情報をさらに含む。
ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇは境界ボックスのオリジナルスケールがｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅと同一であるか否かを示す。実施例によるｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅはスライスごとに適用される倍率(ｓｃａｌｅ ｆａｃｔｏｒ)を示す。実施例によるＧＰＳ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅは全てのスライスに共通に適用される倍率を示す。
ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０である場合、ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇはオリジナルスケールの値がｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅの値と同一に定義されることを示す。ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１である場合は、ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇはオリジナルスケールの値がｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅの値と同一に定義されることを示す。
ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１である場合、ジオメトリスライスヘッダのためのシンタックス２４１０はｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅを含む。
ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅはｇｓｈ_ｓｌｉｃｅ_ｉｄにより識別される各スライスのための境界ボックス原点の倍率を示す。
ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｘはｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅが示す値によってスケールされた境界ボックスの原点のｘ値を示す。ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｘはスライスの中心ｘ(ｓｌｉｃｅ_ｏｒｉｇｉｎ_ｘ)と同一であり、オリジナルスケールよりは小さい。
ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｙはｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅが示す値によってスケールされた境界ボックスの原点のｙ値を示す。ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｙはスライスの中心ｙ(ｓｌｉｃｅ_ｏｒｉｇｉｎ_ｙ)と同一であり、オリジナルスケールよりは小さい。
Ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｚはｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅが示す値によってスケールされた境界ボックスの原点のｚ値を示す。Ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｚはスライスの中心ｚ(ｓｌｉｃｅ_ｏｒｉｇｉｎ_ｚ)と同一であり、オリジナルスケールよりは小さい。
ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０である場合、スライスの中心ｘ、ｙ及びｚ値は０と推論される。
以下はｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値が０である場合、関連する情報を示す。
ｒｅｆ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄはスライスを復号する時に参照するジオメトリスライスビットストリームのＩＤを示す。ｒｅｆ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄの値は該当ジオメトリスライスビットストリームのｇｓｈ_ｓｌｉｃｅ_ｉｄの値と同一である。
ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇはジオメトリスライスヘッダに追加情報が送信されるか否かを示す。ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇの値が１であると、ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇはジオメトリスライスヘッダに追加情報が送信されることを示す。ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇの値が０であると、ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇはジオメトリスライスヘッダに追加情報が送信されないことを示す。
ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇの値が１であると、ジオメトリスライスヘッダのためのシンタックス２４１０はｌａｙｅｒ_ｉｎｆｏを含む。
ｌａｙｅｒ_ｉｎｆｏはスライスに含まれたジオメトリデータのレイヤ(例えば、図１９ないし図２２で説明したレイヤ)を示す。図２３で説明したｓｐｌｉｔ_ｔｙｐｅ情報の値が０であると、ｌａｙｅｒ_ｉｎｆｏはＬＯＤレベルを示す。図２３で説明したｓｐｌｉｔ_ｔｙｐｅ情報の値が１であると、ｌａｙｅｒ_ｉｎｆｏは八分木レベル(又は八分木深さ)を示す。
実施例によるジオメトリスライスヘッダのためのシンタックス２４１０は以下の情報をさらに含む。
ｇｓｈ_ｌｏｇ２_ｃｕｒ_ｎｏｄｅｓｉｚｅはスライスに含まれたポイントクラウドデータを表現するために使用される八分木構造のノードサイズを示す。八分木構造基盤のレイヤリングによりスライスが分かれる場合、ｇｓｈ_ｌｏｇ２_ｃｕｒ_ｎｏｄｅｓｉｚｅは各レイヤに対応する八分木深さのノードサイズを示す。実施例によるノードは３次元キューブを示すので、ノードサイズはＮｘＮｘＮのように表現される。Ｎは整数である。例えば、ｏｃｔｒｅｅ ｄｅｐｔｈ ｌａｙｅｒがＭａｘである場合は１(即ち、八分木ノードサイズが１ｘ１ｘ１である場合)、Ｍａｘ－１である場合は２、Ｍａｘ－２である場合は２ｘ２のように表現される。ｇｓｈ_ｌｏｇ２_ｃｕｒ_ｎｏｄｅｓｉｚｅの値が１である場合、原本ポイントクラウドデータと同じ解像度(ｒｅｓｏｌｕｔｉｏｎ)であることを示す。また図２３で説明したｆｕｌｌ_ｒｅｓ_ｆｌａｇの値が０であると、サンプリングされたポイントクラウドデータを表現することを示す。
また、一つのスライスが一つ又はそれ以上の八分木深さに対応するジオメトリデータを含む場合、ｇｓｈ_ｌｏｇ２_ｃｕｒ_ｎｏｄｅｓｉｚｅはリーフノードに最も近い深さに対するノードサイズを示す。
ｇｓｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅは復号過程で使用される変数ＭａｘＮｏｄｅＳｉｚｅ
の値を示す。ＭａｘＮｏｄｅＳｉｚｅは以下のように表現される。
ＭＡＸＮＯＤＥＳＩＺＥ＝２( ｇｂｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅ )
八分木の深さは以下のように計算される。
Ｏｃｔｒｅｅ ｄｅｐｔｈ ｌａｙｅｒ＝ｇｓｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅ／ｇｓｈ_ｌｏｇ２_ｃｕｒ_ｎｏｄｅｓｉｚｅ
よって、実施例による受信装置は、ｇｓｈ_ｌｏｇ２_ｃｕｒ_ｎｏｄｅｓｉｚｅ及びｇｓｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅに基づいて現在のジオメトリスライスに含まれたポイントクラウドデータ(又はジオメトリ)の八分木構造の深さを確認することができる。
ｇｓｈ_ｐｏｉｎｔｓ_ｎｕｍｂｅｒはこのスライス内の符号化されたポイントの個数を示す。
図２４に示す実施例によるジオメトリスライスヘッダのためのシンタックス２４１０は、上記例示に限られず、図示していない追加情報(又はフィールド、パラメータなど)をさらに含む。
図２５は実施例による特質スライスビットストリームのためのシンタックスの一例である。
図２５はポイントクラウドデータが一つ又はそれ以上のスライスに分かれた場合、一つのスライスに対応する特質ビットストリーム(又は特質スライスビットストリーム)のためのシンタックスの一例である。
図２５に示した１番目のシンタックス２５００は実施例による特質スライスビットストリームのためのシンタックスの一例を示す。特質スライスビットストリームは特質スライスヘッダ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｈｅａｄｅｒ)及び特質スライスデータ(ａｔｔｒｉｂｕｔｅ _ｓｌｉｃｅ_ｄａｔａ)を含む。
図２５に示した２番目の シンタックス２５１０は実施例による特質スライスヘッダのためのシンタックスの一例である。特質スライスヘッダのためのシンタックスは以下の情報(又はフィールド、パラメータなど)を含む。
ａｓｈ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄはアクティブＡＰＳのａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ(例えば、ＡＰＳのためのシンタックスに含まれたａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)と同じ値を有する。
ａｓｈ_ａｔｔｒ_ＳＰＳ_ａｔｔｒ_ｉｄｘはアクティブＳＰＳ(ａｃｔｉｖｅ ＳＰＳ)に含まれた特質セットを識別する。
ａｓｈ_ａｔｔｒ_ＳＰＳ_ａｔｔｒ_ｉｄｘの値は０からアクティブＳＰＳ内に含まれたＳＰＳ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓ値までの範囲内に属する。
ａｓｈ_ａｔｔｒ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄはアクティブジオメトリスライスヘッダのｇｓｈ_ｓｌｉｃｅ_ｉｄ(例えば、図２４で説明したジオメトリスライスヘッダのためのシンタックス２４１０内のｇｓｈ_ｓｌｉｃｅ_ｉｄ)の値を示す。図１ないし図２４で説明したように、特質復号はジオメトリ復号に基づいて行われる。従って、ａｓｈ_ａｔｔｒ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄは該当特質スライスで参照するジオメトリスライスを示す。
ａｐｓ_ｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｐｒｅｓｅｎｔ_ｆｌａｇは特質スライスヘッダに量子化パラメータ(ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ)が含まれるか否かを示す。
ａｐｓ_ｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１である場合、特質スライスヘッダのためのシンタックス２５１０はａｓｈ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ及びａｓｈ_ｑｐ_ｄｅｌｔａ_ｃｈｒｏｍａを含む。
ａｓｈ_ｑｐ_ｄｅｌｔａ_ｌｕｍａはアクティブ特質パラメータセット内のイニシャルスライスｑｐのルマデルタａｐを示す。この情報がシグナルされない場合、ａｓｈ_ｑｐ_ｄｅｌｔａ_ｌｕｍａの値は０と推論される。
ａｓｈ_ｑｐ_ｄｅｌｔａ_ｃｈｒｏｍａはアクティブ特質パラメータセット内のイニシャルスライスｑｐのクロマデルタａｐを示す。この情報がシグナルされない場合、ａｓｈ_ｑｐ_ｄｅｌｔａ_ｃｈｒｏｍａの値は０と推論される。
ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇはこのスライスが独立的に復号できるか否かを示す。ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値が１である場合、ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇはこのスライスが独立的に復号できることを示す。ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値が０である場合、ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇはこのスライスが独立的に復号できないことを示す。よって、受信装置(例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置)は他のスライスに基づいてこのスライスを復号する。
以下はｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値が０である場合、関連する情報を示す。
ｒｅｆ_ａｔｔｒ_ｓｌｉｃｅ_ｉｄはスライスを復号する時に参照する他のスライス(又は特質スライスビットストリーム)のＩＤを示す。ｒｅｆ_ａｔｔｒ_ｓｌｉｃｅ_ｉｄの値は該当特質スライスビットストリームのａｓｈ_ｓｌｉｃｅ_ｉｄの値と同一である。上述したように、特質復号はジオメトリ復号に基づく。従って、実施例による受信装置はｒｅｆ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ(例えば、図２４で説明したジオメトリスライスヘッダのためのシンタックス２４１０内のｒｅｆ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)によりｒｅｆ_ａｔｔｒ_ｓｌｉｃｅ_ｉｄが識別するスライスを復号する時に必要なジオメトリスライスを確認することができる。また、特質スライスヘッダのためのシンタックス２５１０はｒｅｆ_ａｔｔｒ_ｓｌｉｃｅ_ｉｄが示すスライスを復号するために必要なジオメトリスライスを識別するための情報(例えば、ａｓｈ_ａｔｔｒ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)をさらに含む。
ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇは特質スライスヘッダに追加情報が送信されるか否かを示す。ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇの値が１であると、ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇは特質スライスヘッダに追加情報が送信されることを示す。ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇの値が０であると、ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇは特質スライスヘッダに追加情報が送信されないことを示す。
ｓｐｌｉｔ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｉｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇの値が１であると、特質スライスヘッダのためのシンタックス２５１０はｌａｙｅｒ_ｉｎｆｏを含む。
ｌａｙｅｒ_ｉｎｆｏはスライスに含まれた特質データのレイヤ(例えば、図１９ないし図２２で説明したレイヤ)を示す。図２３で説明したｓｐｌｉｔ_ｔｙｐｅ情報の値が０であると、ｌａｙｅｒ_ｉｎｆｏはＬＯＤレベルを示す。図２３で説明したｓｐｌｉｔ_ｔｙｐｅ情報の値が１であると、ｌａｙｅｒ_ｉｎｆｏは八分木レベル(又は八分木深さ)を示す。
図２５に示した実施例による特質スライスヘッダのためのシンタックス２５１０は上記例示に限られず、図示していない追加情報(又はフィールド、パラメータなど)をさらに含む。
図２６は実施例によるシグナリング情報の構造を示す。
図２３ないし図２５で説明したように、実施例によるビットストリームはＳＰＳ、一つ又はそれ以上のジオメトリスライス及び一つ又はそれ以上の特質スライスを含む。実施例によるポイントクラウドデータ処理装置(例えば、図１で説明した送信装置１００００又は図１２で説明した送信装置)は、図１９の例示１９１０のようにレイヤードされたジオメトリ全体(例えば、ＬＯＤ０からＬＯＤ Ｎ(最上位レベルＮであって、例えば、２)に対応するジオメトリ)及びレイヤードされた特質(例えば、ＬＯＤ０からＬＯＤ Ｎ(最上位レベルＮであって、例えば、２)に対応する特質)を送信する。図２６は３レベルのＬＯＤ基盤のレイヤ構造を有する全体ジオメトリ及び全体特質が送信される時のシグナリング情報の構造の一例である。
図２６の例示２６００はＳＰＳのためのシンタックスを示す。実施例によるＳＰＳは図２３で説明したＳＰＳのためのシンタックスに含まれる情報(又はパラメータ)を含む。従って、ＳＰＳのためのシンタックスに含まれる情報に関する説明は省略する。図２６に示すように、ＳＰＳはＳＰＳ-ｉｄを含む。実施例によるジオメトリ及び特質は３レベルのＬＯＤ基盤のレイヤ構造を有するので、ｓｐｌｉｔ_ｓｌｉｃｅ ｆｌａｇは１、ｓｐｌｉｔ_ｔｙｐｅは０、ｎｕｍ_ＬＯＤの値は３である。また実施例によるジオメトリ及び特質は全体ＬＯＤに対応するので、ｆｕｌｌ_ｒｅｓ_ｆｌａｇの値は１である。
図１９ないし図２５で説明したように、一つのスライスは一つのジオメトリサブビットストリーム又は一つのレイヤに対応するジオメトリサブビットストリームを含む。
上述したように、ジオメトリは３レベルのＬＯＤ基盤のレイヤ構造を有する。よって、実施例によるジオメトリは最低の第１レベル(又は第１レイヤ)に対応する第１ジオメトリスライス、第２レベル(又は第２レイヤ)に対応する第２ジオメトリスライス、及び最上位の第３レベル(又は第３レイヤ)に対応する第３ジオメトリスライスを含む。
各々のジオメトリスライスはジオメトリスライスヘッダ及びジオメトリスライスデータ(又は図１９ないし図２２で説明したジオメトリサブビットストリーム)を含む。第１ジオメトリスライスは第１ジオメトリサブビットストリーム(例えば、第１ジオメトリサブビットストリーム２１１１)を含み、第２ジオメトリスライスは第２ジオメトリサブビットストリーム(例えば、第２ジオメトリサブビットストリーム２１１２)を含み、第３ジオメトリスライスは第３ジオメトリサブビットストリーム(例えば、第３ジオメトリサブビットストリーム２１１３)を含む。
図２６の例示２６１０は、第１ジオメトリスライスヘッダのためのシンタックス２６１１、第２ジオメトリスライスヘッダのためのシンタックス２６１２、及び第３ジオメトリスライスヘッダのためのシンタックス２６１３を示す。第１ジオメトリスライスヘッダのためのシンタックス２６１１、第２ジオメトリスライスヘッダのためのシンタックス２６１２及び第３ジオメトリスライスヘッダのためのシンタックス２６１３は各々のジオメトリスライスに含まれ、この例示２６１０では、説明の便宜のために、ジオメトリスライスヘッダのためのシンタックスを共に示している。
実施例による各々のジオメトリスライスヘッダのためのシンタックスは、図２４で説明したジオメトリスライスヘッダのためのシンタックス２４１０に含まれた情報(又はパラメータ)を含む。よって、実施例によるジオメトリスライスヘッダのためのシンタックスに含まれる情報に関する説明は省略する。
第１ジオメトリスライスは１番目のジオメトリスライスである。従って、実施例による第１ジオメトリスライスヘッダのためのシンタックス２６１１に含まれたｇｓｈ_ｓｌｉｃｅ_ｉｄの値は０である。上述したように、第１ジオメトリスライスは最低のレベル(又はレイヤ)に対応する。よって、実施例による受信装置(例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置)は、他のジオメトリスライスなしに、第１ジオメトリスライスに含まれたデータを復号してポイントクラウドコンテンツを提供することができる。従って、ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値は１である。ＬＯＤレベルが低いほど、八分木深さのノードサイズは増加する。第１ジオメトリスライスヘッダのためのシンタックス２６１１は８の値を有するｇｓｈ_ｌｏｇ２_ｃｕｒ_ｎｏｄｅｓｉｚｅ及び１２８の値を有するｇｓｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅを含む。第２ジオメトリスライスは２番目のジオメトリスライスである。従って、実施例による第２ジオメトリスライスヘッダのためのシンタックス２６１２に含まれたｇｓｈ_ｓｌｉｃｅ_ｉｄの値は１である。上述したように、第２ジオメトリスライスは２番目のレベル(又はレイヤ)に対応する。よって、実施例による受信装置は第２ジオメトリスライスに含まれたデータを復号するためには第２ジオメトリスライスより低いレベルのジオメトリスライスが必要である。従って、ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値は０である。実施例による第２ジオメトリスライスヘッダのためのシンタックス２６１２はｒｅｆ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ、ｌａｙｅｒ_ｉｎｆｏをさらに含む。実施例によるｒｅｆ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄの値は第１ジオメトリスライスのｇｓｈ_ｓｌｉｃｅ_ｉｄの値である０と同一である。実施例によるｌａｙｅｒ_ｉｎｆｏは第２ジオメトリスライスのレイヤを示す。よって、ｌａｙｅｒ_ｉｎｆｏの値は１である。
ＬＯＤレベルは高いほど八分木深さのノードサイズは減少する。第２ジオメトリスライスヘッダのためのシンタックス２６１２は４の値を有するｇｓｈ_ｌｏｇ２_ｃｕｒ_ｎｏｄｅｓｉｚｅ及び１２８の値を有するｇｓｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅを含む。
第３ジオメトリスライスは３番目のジオメトリスライスである。従って、実施例による第３ジオメトリスライスヘッダのためのシンタックス２６１３に含まれたｇｓｈ_ｓｌｉｃｅ_ｉｄの値は２である。上述したように、第３ジオメトリスライスは３番目のレベル(又はレイヤ)に対応する。よって、実施例による受信装置は第３ジオメトリスライスに含まれたデータを復号するためには、第３ジオメトリスライスより低いレベルのジオメトリスライスが必要である。従って、ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値はである。実施例による第３ジオメトリスライスヘッダのためのシンタックス２６１３はｒｅｆ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ、ｌａｙｅｒ_ｉｎｆｏをさらに含む。実施例によるｒｅｆ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄの値は第２ジオメトリスライスのｇｓｈ_ｓｌｉｃｅ_ｉｄの値である１と同一である。実施例によるｌａｙｅｒ_ｉｎｆｏは第３ジオメトリスライスのレイヤを示す。従って、ｌａｙｅｒ_ｉｎｆｏの値は２である。
ＬＯＤレベルが高いほど八分木深さのノードサイズは減少する。第３ジオメトリスライスヘッダのためのシンタックス２６１３は１の値を有するｇｓｈ_ｌｏｇ２_ｃｕｒ_ｎｏｄｅｓｉｚｅ及び１２８の値を有するｇｓｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅを含む。
図１９ないし図２５で説明したように、一つのスライスは一つの特質サブビットストリーム、又は一つのレイヤに対応する特質サブビットストリームを含む。
上述したように、特質は３レベルのＬＯＤ基盤のレイヤ構造を有する。よって、実施例による特質は最低の第１レベル(又は第１レイヤ)に対応する第１特質スライス、第２レベル(又は第２レイヤ)に対応する第２特質スライス、及び最上位の第３レベル(又は第３レイヤ)に対応する第３特質スライスを含む。
各々の特質スライスは、特質スライスヘッダ及び特質スライスデータ(又は図１９ないし図２２で説明した特質サブビットストリーム)を含む。第１ジオメトリスライスは第１特質サブビットストリーム(例えば、第１特質サブビットストリーム２１２１)を含み、第２特質スライスは第２特質サブビットストリーム(例えば、第２特質サブビットストリーム２１２２)を含み、第３特質スライスは第３特質サブビットストリーム(例えば、第３ジオメトリサブビットストリーム２１２３)を含む。
図２６の例示２６２０は、第１特質スライスヘッダのためのシンタックス２６２１、第２特質スライスヘッダのためのシンタックス２６２２及び第３特質スライスヘッダのためのシンタックス２６２３を示す。第１特質スライスヘッダのためのシンタックス２６２１、第２特質スライスヘッダのためのシンタックス２６２２及び第３特質スライスヘッダのためのシンタックス２６２３は各々の特質スライスに含まれ、この例示２６２０では、説明の便宜のために、特質スライスヘッダのためのシンタックスを共に示している。
実施例による各々の特質スライスヘッダのためのシンタックスは、図２５で説明したジオメトリスライスヘッダのためのシンタックス２５１０に含まれた情報(又はパラメータ)を含む。よって、実施例による特質スライスヘッダのためのシンタックスに含まれる情報に関する説明は省略する。
第１特質スライスは１番目の特質スライスである。従って、実施例による第１特質スライスヘッダのためのシンタックス２６２１に含まれたａｓｈ_ｓｌｉｃｅ_ｉｄの値は０である。上述したように、第１特質スライスは最低のレベル(又はレイヤ)に対応する。よって、実施例による受信装置は他の特質スライスなしに、第１特質スライスに含まれたデータを復号してポイントクラウドコンテンツを提供することができる。従って、ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値は１である。
第２特質スライスは２番目の特質スライスである。従って、実施例による第２特質スライスヘッダのためのシンタックス２６２２に含まれたａｓｈ_ｓｌｉｃｅ_ｉｄの値は１である。上述したように、第２特質スライスは２番目のレベル(又はレイヤ)に対応する。よって、実施例による受信装置は第２特質スライスに含まれたデータを復号するためには、第２の特質スライスより低いレベルの特質スライスが必要である。従って、ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値は０である。実施例による第２特質スライスヘッダのためのシンタックス２６２２は、ｒｅｆ_ａｔｔｒ_ｓｌｉｃｅ_ｉｄ、ｌａｙｅｒ_ｉｎｆｏをさらに含む。実施例によるｒｅｆ_ａｔｔｒ_ｓｌｉｃｅ_ｉｄの値は第１特質スライスのａｓｈ_ｓｌｉｃｅ_ｉｄの値である０と同一である。実施例によるｌａｙｅｒ_ｉｎｆｏは第２特質スライスのレイヤを示す。従って、ｌａｙｅｒ_ｉｎｆｏの値は１である。
第３特質スライスは３番目の特質スライスである。従って、実施例による第３特質スライスヘッダのためのシンタックス２６２３に含まれたａｓｈ_ｓｌｉｃｅ_ｉｄの値は２である。上述したように、第３特質スライスは３番目のレベル(又はレイヤ)に対応する。よって、実施例による受信装置は第３特質スライスに含まれたデータを復号するためには、第３特質スライスより低いレベルの特質スライスが必要である。従って、ｉｎｄｅｐｅｎｄｅｎｔ_ｄｅｃｏｄａｂｌｅ_ｆｌａｇの値は０である。実施例による第３特質スライスヘッダのためのシンタックス２６２３は、ｒｅｆ_ａｔｔｒ_ｓｌｉｃｅ_ｉｄ、ｌａｙｅｒ_ｉｎｆｏをさらに含む。実施例によるｒｅｆ_ａｔｔｒ_ｓｌｉｃｅ_ｉｄの値は第２特質スライスのａｓｈ_ｓｌｉｃｅ_ｉｄの値である１と同一である。実施例によるｌａｙｅｒ_ｉｎｆｏは第３特質スライスのレイヤを示す。従って、ｌａｙｅｒ_ｉｎｆｏの値は２である。
実施例による特質スライスヘッダのためのシンタックスは、関連するジオメトリスライスに関する情報をさらに含む。
従って、受信装置はビットストリームを受信し、図２４ないし図２６で説明したＳＰＳ、ジオメトリスライスヘッダ及び特質スライスヘッダからシグナリング情報を得、特定のレイヤ(又はレベル)に対応するジオメトリ及び特質を復号してスケーラブル表現を行うことができる。
図２７は実施例によるシグナリング情報の構造を示す。
図２７は図２６で説明したシグナリング情報の構造の一例である。
図２７の上側に示した例示２７００は、３レベルのＬＯＤ基盤のレイヤ構造を有するジオメトリ及び特質に対して一つ又はそれ以上のレイヤに対応する部分ジオメトリ及び部分特質が送信される時のシグナリング情報の構造の一例である。図２７の上側に示した例示２７００は、第１レイヤ及び第２レイヤに対応する第１ジオメトリスライス及び第２ジオメトリスライス(例えば、図２６で説明した第１ジオメトリスライス及び第２ジオメトリスライス)と第１特質スライス及び第２特質スライス(例えば、図２６で説明した第１特質スライス及び第２特質スライス)を送信する時のシグナリング情報の構造を示す。
図２７の例示２７００は、ＳＰＳのためのシンタックス２７１０を含む。ＳＰＳのためのシンタックス２７１０に含まれた情報は図２６で説明した通りであるが、ｆｕｌｌ_ｒｅｓ_ｆｌａｇの値が異なる。実施例によるジオメトリ及び特質は一部ＬＯＤのみに対応するので、ｆｕｌｌ_ｒｅｓ_ｆｌａｇの値は０であり、ｆｕｌｌ_ｇｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇの値は０である。図２７の例示２７００に含まれた第１ジオメトリスライスヘッダのためのシンタックス２７２０及び第２ジオメトリスライスヘッダのためのシンタックス２７２１は、図２６で説明した第１ジオメトリスライスヘッダのためのシンタックス２６１１及び第２ジオメトリスライスヘッダのためのシンタックス２６１２と同一であるので、具体的な説明は省略する。図２７の例示２７００に含まれた第１特質スライスヘッダのためのシンタックス２７３０及び第２特質スライスヘッダのためのシンタックス２７３１は、図２６で説明した第１特質スライスヘッダのためのシンタックス２６２１及び第２特質スライスヘッダのためのシンタックス２６２２と同一であるので、具体的な説明は省略する。
図２７の下側に示した例示２７４０は、２レベルのＬＯＤ基盤のレイヤ構造を有するジオメトリ及び特質に対して一つ又はそれ以上のレイヤに対応する部分ジオメトリ及び部分特質が送信される時のシグナリング情報の構造の一例である。図２７の下側に示した例示２７４０は、第１レイヤに対応する第１ジオメトリスライス(例えば、図２６で説明した第１ジオメトリスライス)と第１特質スライス(例えば、図２６で説明した第１特質スライス)を送信する時のシグナリング情報の構造を示す。
図２７の例示２７４０はＳＰＳのためのシンタックス２７５０を含む。ＳＰＳのためのシンタックス２７５０は、上述したＳＰＳのためのシンタックス２７１０と同じ情報を含むが、ＬＯＤレベルが異なる。従って、ｎｕｍ_ＬＯＤの値は２である。図２７の例示２７４０に含まれた第１ジオメトリスライスヘッダのためのシンタックス２７６０は、図２６で説明した第１ジオメトリスライスヘッダのためのシンタックス２６１１と同一であるので、具体的な説明は省略する。図２７の例示２７４０に含まれた第１特質スライスヘッダのためのシンタックス２７７０は、図２６で説明した第１特質スライスヘッダのためのシンタックス２６２１と同一であるので、具体的な説明は省略する。
従って、実施例による受信装置(例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置)は、ビットストリームを受信し、図２４ないし図２７で説明したＳＰＳ、ジオメトリスライスヘッダ及び特質スライスヘッダからシグナリング情報を得、特定のレイヤ(又はレベル)に対応するジオメトリ及び特質を復号してスケーラブル表現を行うことができる。
図２８は実施例によるシグナリング情報の構造を示す。
図２８は図２６及び図２７で説明したシグナリング情報の構造の一例である。図２８に示した例示２８００は、３レベルのＬＯＤ基盤のレイヤ構造を有するジオメトリ及び特質に対して第１レイヤないし第３レイヤに対応する第１ジオメトリスライスないし第３ジオメトリスライス(例えば、図２６で説明した第１ジオメトリスライスないし第３ジオメトリスライス)及び第１レイヤ及び第２レイヤに対応する第１特質スライス及び第２特質スライス(例えば、図２６で説明した第１特質スライス及び第２特質スライス)が送信される時のシグナリング情報の構造の一例である。
図２８の例示２８００は、ＳＰＳのためのシンタックス２８１０を含む。ＳＰＳのためのシンタックス２８１０に含まれる情報は図２６で説明した通りであるが、ジオメトリは全体ＬＯＤに対応し、特質は一部ＬＯＤのみに対応するので、ｆｕｌｌ_ｒｅｓ_ｆｌａｇの値は０であり、ｆｕｌｌ_ｇｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇの値は１である。
図２８の例示２８００に含まれた第１ジオメトリスライスヘッダのためのシンタックスないし第３ジオメトリスライスヘッダのためのシンタックスの例示２８２０は、図２６で説明した第１ジオメトリスライスヘッダのためのシンタックス２６１１ないし第３ジオメトリスライスヘッダのためのシンタックス２６２３と同一であるので、具体的な説明は省略する。図２８の例示２８００に含まれた第１特質スライスヘッダのためのシンタックス及び第２特質スライスヘッダのためのシンタックスの例示２８３０は、図２６で説明した第１特質スライスヘッダのためのシンタックス２６２１及び第２特質スライスヘッダのためのシンタックス２６２２と同一であるので、具体的な説明は省略する。
従って、実施例による受信装置(例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置)は、ビットストリームを受信し、図２４ないし図２７で説明したＳＰＳ、ジオメトリスライスヘッダ及び特質スライスヘッダからシグナリング情報を得、特定のレイヤ(又はレベル)に対応するジオメトリ及び特質を復号してスケーラブル表現を行うことができる。
図２９は実施例によるポイントクラウドデータ処理装置の一例を示す。
図２９に示す実施例によるポイントクラウドデータ処理装置２９００は、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置の一例である。従って、ポイントクラウドデータ処理装置２９００は図２０で説明したポイントクラウドデータ処理装置２０００の動作の逆過程に対応する動作を行う。ポイントクラウドデータ処理装置２９００は、図１ないし図２８で説明した受信装置の動作と同一又は類似する動作を行う。ポイントクラウドデータ処理装置２９００は、図２９には示していないが、図１ないし図２８で説明した復号動作を行うための一つ又はそれ以上のエレメントをさらに含む。
ポイントクラウドデータ処理装置２９００は、受信機(ｒｅｃｅｉｖｅｒ)２９１０、逆多重化器(Ｄｅ-ｍｕｘ)２９２０、メタデータパーサ(Ｍｅｔａｄａｔａ ｐａｒｓｅ)２９３０、サブビットストリーム分類器(Ｓｕｂ-ｂｉｔｓｔｒｅａｍ ｃｌａｓｓｉｆｉｅｒ)２９４０、ジオメトリデコーダ(Ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ)２９５０、特質デコーダ(Ａｔｔｒｉｂｕｒｅ ｄｅｃｏｄｅｒ)２９６０、及びレンダラー(Ｒｅｎｄｅｒｅｒ)２９７０を含む。
実施例による受信機２９１０は、送信装置(例えば、図１で説明した送信装置１００００又は図１２で説明した送信装置、図２０で説明したポイントクラウドデータ処理装置２０００)で出力したデータを受信する。受信機２９１０が受信したデータは図１で説明したビットストリーム、図２０で説明した送信機２０６０で出力されたデータに対応する。
実施例による逆多重化器２９２０は、受信したデータをを逆多重化する。即ち、受信されたデータはジオメトリビットストリーム又はジオメトリサブビットストリーム、特質ビットストリーム又は特質サブビットストリーム、及びメタデータ(又はシグナリング情報、パラメータ)に逆多重化される。
実施例によるメタデータパーサ２９３０は、逆多重化器２９２０で出力されたメタデータを獲得する。実施例によるメタデータは、図２３ないし図２８で説明したＳＰＳなどを含む。従って、実施例によるポイントクラウドデータ処理装置２９００は、メタデータに基づいてジオメトリ及び特質のレイヤリングに関連する情報を確保することができる。またメタデータパーサ２９３０は、ジオメトリ復号及び／又は特質復号に必要な情報をそれぞれのデコーダに送信する。実施例によるサブビットストリーム分類器２９３０は、ジオメトリビットストリーム又はジオメトリサブビットストリーム(例えば、図２１及び図２２で説明したジオメトリサブビットストリーム)及び特質ビットストリーム又は特質サブビットストリーム(例えば、図２１及び図２２で説明した特質サブビットストリーム)のヘッダ(例えば、図２４及び図２５で説明したジオメトリスライスヘッダ又は特質スライスヘッダ)に含まれた情報及びメタデータパーサ２９３０で出力された情報に基づいて、復号に必要なジオメトリサブビットストリーム及び特質サブビットストリームを分類する。またサブビットストリーム分類器２９４０は、ジオメトリ及び特質のレイヤを選択する。実施例によるジオメトリデコーダ２９５０は、一つ又はそれ以上のレイヤに対応する一つ又はそれ以上のジオメトリサブビットストリームを受信し、ジオメトリの復号を行う。実施例によるジオメトリデコーダ２９５０の動作は、図１１で説明した演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４の動作と同一又は類似するので、具体的な説明は省略する。
実施例による特質デコーダ２９６０は、ジオメトリデコーダ２９５０の復号に基づいて一つ又はそれ以上のレイヤに対応する一つ又はそれ以上の特質サブビットストリームを受信し、特質復号を行う。実施例による特質デコーダ２９６０の動作は、図１１で説明した演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色相逆変換部１１０１０の動作と同一又は類似するので、具体的な説明は省略する。実施例によるレンダラー２９７０はジオメトリ及び特質を受信して最終出力のためのフォーマットに変換することができる。
図３０は実施例によるポイントクラウド復号の動作を示す。
図３０はビットストリームを受信して一つ又はそれ以上のサブストリームに分類又は選択するポイントクラウドデータ処理装置(例えば、図２９で説明したポイントクラウドデータ処理装置２９００又はサブビットストリーム分類器２９４０)の動作を示す。
図３０の上側に示した例示３０００は、実施例によるポイントクラウドデータ処理装置がＬＯＤ基盤のレイヤ構造を有するジオメトリサブビットストリーム(例えば、図２１で説明したＬＯＤ０、ＬＯＤ１及びＬＯＤ２に対応する第１ジオメトリを含む第１ジオメトリサブビットストリーム２１１１、ＬＯＤ１及びＬＯＤ２に対応する第２ジオメトリＲ１を含む第２ジオメトリサブビットストリーム２１１２、及びＬＯＤ２のみに対応する第３ジオメトリＲ２を含む第３ジオメトリサブビットストリーム２１１３)及び特質サブビットストリーム(例えば、図２１で説明したＬＯＤ０、ＬＯＤ１及びＬＯＤ２に対応する第１特質を含む第１特質サブビットストリーム２１２１、ＬＯＤ１及びＬＯＤ２に対応する第２特質Ｒ１を含む第２特質サブビットストリーム２１２２、及びＬＯＤ２のみに対応する第３特質Ｒ２を含む第３特質サブビットストリーム２１２３)を同じレイヤによって処理する過程を示す。実施例によるポイントクラウドデータ処理装置は、ＬＯＤレベル１までに対応するレイヤによってジオメトリサブビットストリーム及び特質サブビットストリームを選択して復号する。例示３０００の右側に示したように、ＬＯＤレベル１に対応するポイントクラウドデータを処理するためには、ＬＯＤレベル０に対応するポイントクラウドデータを共に処理しなければならない。従って、ポイントクラウド処理装置は、受信したビットストリームでＬＯＤレベル０及びＬＯＤレベル１に対応するジオメトリサブビットストリーム及び特質サブビットストリームを選択して３００１、それぞれジオメトリ復号及び特質復号を行う。例示３０００に示したＲ１はＬＯＤレベル１にのみ含まれるジオメトリ及び特質を示す。ポイントクラウド処理装置は、受信したビットストリームでＬＯＤレベル１より大きいＬＯＤレベル(例えば、ＬＯＤレベル２)に対応するジオメトリサブビットストリーム及び特質ビットストリームを選択しない３００２。例示３０００に示したＲ２はＬＯＤレベル２にのみ含まれるジオメトリ及び特質を示す。
図３０の下側に示した例示３０００は、実施例によるポイントクラウドデータ処理装置がＬＯＤ基盤のレイヤ構造を有するジオメトリサブビットストリーム及び特質サブビットストリームを互いに異なるレイヤによって処理する過程を示す。実施例によるポイントクラウドデータ処理装置は、ＬＯＤレベル２までに対応するレイヤによってジオメトリサブビットストリームを選択し、ＬＯＤレベル１までに対応するレイヤによって特質サブビットストリームを選択して復号する。例示３０１０の右側に示したように、ＬＯＤレベル２に対応するジオメトリを復号するためには、ＬＯＤレベル０及びＬＯＤレベル１に対応するジオメトリが必要である。従って、ポイントクラウド処理装置は、受信したビットストリームでＬＯＤレベル０、ＬＯＤレベル１、ＬＯＤレベル２に対応するジオメトリサブビットストリーム及びＬＯＤレベル０及びＬＯＤレベル１の特質サブビットストリームを選択して３０１１、それぞれジオメトリ復号及び特質復号を行う。ポイントクラウド処理装置は、受信したビットストリームでＬＯＤレベル１より大きいＬＯＤレベル(例えば、ＬＯＤレベル２)に対応する特質ビットストリームを選択しない３０１２。
実施例による送信装置(例えば、図１で説明した送信装置１００００又は図１２で説明した送信装置、図２０で説明したポイントクラウドデータ処理装置２０００)は、受信装置の性能によって図３０に示す例示３０００、３０１０のように、一部ジオメトリ及び一部特質又は一部特質を除去したビットストリームを生成して送信することができる。
図３１は実施例によるポイントクラウドデータ送信及び受信構成を示す。
図３１はスケーラブル復号及びスケーラブル表現のためのポイントクラウドデータ送信及び受信構成を示す。
図３１の上側に示した例示３１００は、部分ＰＣＣビットストリーム(Ｐａｒｔｉａｌ ＰＣＣ ｂｉｔｓｔｒｅａｍ)を送信及び受信する構成の一例である。実施例による送信装置(例えば、図１で説明した送信装置１００００、図１２で説明した送信装置、図２０で説明したポイントクラウドデータ処理装置２０００)は、ソースジオメトリ(Ｓｏｕｒｃｅ ｇｅｏｍｅｔｒｙ)及びソース特質(Ｓｏｕｒｃｅ ａｔｔｒｉｂｕｔｅ)に対してスケーラブル符号化(Ｓｃａｌａｂｌｅ ｅｎｃｏｄｉｎｇ)を行い、図１８ないし図２９で説明したレイヤによってビットストリーム(又は図２１及び図２２で説明したサブビットストリーム)を選択して部分ＰＣＣビットストリームを生成する。従って、送信装置は必要なデータのみを送信して帯域幅の側面で効率的な情報の送信を行うことができる。実施例による受信装置(例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置、図２９で説明したポイントクラウドデータ処理装置２９００)は、部分ＰＣビットストリームを受信して復号して部分ジオメトリ及び部分特質を出力する３１０２。この例示３１００に示す構成は、送信装置での更なるデータ処理(例えば、復号及びトランスコーディング)を要求しないので、データ処理過程で遅延が発生する確率が低くなる。また送信装置はレイヤに関連するシグナリング情報(例えば、図２３ないし図２８で説明したシグナリング情報)を共に送信するので、受信装置はシグナリング情報に基づいて効率的な部分ジオメトリ及び部分特質の復号を行うことができる。
図３１の下側に示した例示３１１０は、全体ＰＣＣビットストリーム(Ｃｏｍｐｌｅｔｅ ＰＣＣ ｂｉｔｓｔｒｅａｍ)を送信及び受信する構成の一例である。実施例による送信装置はスケーラブル符号化(Ｓｃａｌａｂｌｅ ｅｎｃｏｄｉｎｇ)を行い、符号化されたジオメトリ及び特質を格納する。実施例による送信装置はジオメトリ及び特質をスライス単位でレイヤリングし、スライス単位のジオメトリ及び特質を含むビットストリーム(例えば、全体ＰＣＣビットストリームを生成する３１１１。送信装置はジオメトリ及び特質のレイヤに関連する情報(例えば、図２３ないし図２８で説明したシグナリング情報)を共に送信するので、受信装置はレイヤ及びスライスに関する情報を確保することができる。従って、受信装置はビットストリームを受信して、復号前にスライス単位のジオメトリサブビットストリーム及び／又は特質サブビットストリームを選択して全体ジオメトリ及び特質を復号するか、又は一部レイヤに該当するジオメトリ及び特質を復号して、部分ジオメトリ及び部分特質を出力する３１１２。この例示３１１０に示した構成によれば、受信装置は性能によって或いは分野によって表現しようとするポイントクラウドデータの密度によってサブビットストリームを選択する。また受信装置は復号前にレイヤを選択してより高い効率の復号を行い、様々な性能のデコーダを支援することができる。
図３２は実施例によるポイントクラウドデータ処理方法のフローチャートの一例である。
図３２のフローチャート３２００はポイントクラウドデータ処理装置(例えば、図１、図１１、図１４及び図１５で説明した送信装置及び図２０で説明したポイントクラウドデータ処理装置２０００)のポイントクラウドデータ処理方法を示す。実施例によるポイントクラウドデータ処理装置は、図１ないし図３１で説明した符号化動作と同一又は類似する動作を行う。
実施例によるポイントクラウドデータ処理装置は、ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化する３２１０。実施例によるジオメトリ情報はポイントクラウドデータのポイントの位置を示す情報である。実施例による特質情報はポイントクラウドデータのポイントの特質を示す情報である。
実施例によるポイントクラウドデータ処理装置は、ジオメトリ情報を符号化してジオメトリビットストリームを出力する。またポイントクラウドデータ処理装置は、特質情報を符号化して特質ビットストリームを出力する。実施例によるポイントクラウドデータ処理装置は、図１ないし図３１で説明したジオメトリ情報符号化の動作と同一又は類似する動作を行う。また、ポイントクラウドデータ処理装置は、図１ないし図３１で説明した特質情報符号化動作と同一又は類似する動作を行う。実施例によるポイントクラウドデータ処理装置(例えば、図２０で説明したサブビットストリーム生成器２０３０)は、ジオメトリビットストリームを一つ又はそれ以上のレイヤに対応する一つ又はそれ以上のジオメトリサブビットストリーム(例えば、図２１で説明した第１ジオメトリサブビットストリーム２１１１、第２ジオメトリサブビットストリーム２１１２、第３ジオメトリサブビットストリーム２１１３)を生成する。実施例によるポイントクラウドデータ処理装置(例えば、図２０で説明したサブビットストリーム生成器２０３０)は、特質ビットストリームの一つ又はそれ以上のレイヤに対応する一つ又はそれ以上の特質サブビットストリーム(例えば、図２１で説明した第１特質サブビットストリーム２１２１、第２特質サブビットストリーム２１２２、第３特質サブビットストリーム２１２３)を生成する。図２０ないし図２８で説明したように、 ジオメトリサブビットストリームはジオメトリスライスに含まれ、特質サブビットストリームは特質スライスに含まれる。実施例によるビットストリームは一つ又はそれ以上のジオメトリスライス及び一つ又はそれ以上の特質スライスを含む。ビットストリームに関する具体的な説明は図２３で説明した通りである。
実施例によるビットストリームはシグナリング情報(例えば、図２３ないし図２８で説明したシグナリング情報)を送信する。ビットストリームはスライスに関連する情報(例えば、図２３で説明したスライスに関連する情報)を含み、スライスに関連する情報はジオメトリビットストリーム及び特質ビットストリームが一つ又はそれ以上のスライスに分かれるか否かを示す第１情報(例えば、図２３で説明したｓｐｌｉｔ_ｓｌｉｃｅ_ｆｌａｇ)を含む。第１情報がジオメトリビットストリーム及び特質ビットストリームが一つ又はそれ以上のスライスに分かれることを示すと、スライスに関連する情報はジオメトリサブビットストリーム及び特質サブビットストリームのレイヤがＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)に基づくか或いは八分木構造の深さに基づくかを示す第２情報(例えば、図２３で説明したｓｐｌｉｔ_ｔｙｐｅ)を含む。実施例によるシグナリング情報は図２３ないし図２８で説明した通りであるので、具体的な説明は省略する。
図３３は実施例によるポイントクラウドデータ処理方法のフローチャートの一例である。
図３３のフローチャート３３００はポイントクラウドデータ処理装置(例えば、図１、図１３、図１４、図１６ないし図２５で説明したポイントクラウドデータ受信装置又はポイントクラウドデータデコーダ又は図２９で説明したポイントクラウドデータ処理装置２９００)のポイントクラウドデータ処理方法を示す。実施例によるポイントクラウドデータ処理装置は、図１ないし図３１で説明した復号動作と同一又は類似する動作を行う。
実施例によるポイントクラウドデータ処理装置は、ポイントクラウドデータを含むビットストリームを受信する３３１０。実施例によるジオメトリ情報はポイントクラウドデータのポイントの位置を示す情報である。実施例による特質情報はポイントクラウドデータのポイントの特質を示す情報である。実施例によるビットストリームの構造は図２３ないし図２８で説明した通りであるので、具体的な説明は省略する。図２０ないし図２８で説明したように、ジオメトリサブビットストリームはジオメトリスライスに含まれ、特質サブビットストリームは特質スライスに含まれる。実施例によるビットストリームはジオメトリサブビットストリームを含むジオメトリスライス及び特質サブビットストリームを含む。一つ又はそれ以上のジオメトリサブビットストリーム(例えば、図２１で説明した第１ジオメトリサブビットストリーム２１１１、第２ジオメトリサブビットストリーム２１１２、第３ジオメトリサブビットストリーム２１１３)及び一つ又はそれ以上の特質サブビットストリーム(例えば、図２１で説明した第１特質サブビットストリーム２１２１、第２特質サブビットストリーム２１２２、第３特質サブビットストリーム２１２３)は、一つ又はそれ以上のレイヤに対応する。実施例によるビットストリームはシグナリング情報(例えば、図２３ないし図２８で説明したシグナリング情報)を送信する。ビットストリームはスライスに関連する情報(例えば、図２３で説明したスライスに関連する情報)を含み、スライスに関連する情報はジオメトリビットストリーム及び特質ビットストリームが一つ又はそれ以上のスライスに分かれるか否を示す第１情報(例えば、図２３で説明したｓｐｌｉｔ_ｓｌｉｃｅ_ｆｌａｇ)を含む。第１情報がジオメトリビットストリーム及び特質ビットストリームが一つ又はそれ以上のスライスに分かれることを示すと、スライスに関連する情報はジオメトリサブビットストリーム及び特質サブビットストリームのレイヤがＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)に基づくか或いは八分木構造の深さに基づくかを示す第２情報(例えば、図２３で説明したｓｐｌｉｔ_ｔｙｐｅ)を含む。実施例によるシグナリング情報は図２３ないし図２８で説明した通りであるので、具体的な説明は省略する。
実施例によるポイントクラウドデータ処理装置はポイントクラウドデータを復号する３３２０。実施例によるポイントクラウドデータ処理装置はスライスに関連する情報に基づいて任意のレイヤに対応するジオメトリサブビットストリームを復号し、任意のレイヤに対応する特質サブビットストリームを復号して、スケーラブル表現を行う。
図１ないし図３３で説明した実施例によるポイントクラウドデータ処理装置の構成要素は、メモリと結合した一つ又はそれ以上のプロセッサを含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。実施例によるデバイスの構成要素は、一つのチップ、例えば、一つのハードウェア回路で具現される。また実施例によるポイントクラウドデータ処理装置の構成要素は、それぞれのチップで具現される。また実施例によるポイントクラウドデータ処理装置の構成要素のいずれかは、一つ又はそれ以上のプログラムを実行可能な一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは図１ないし図３３で説明したポイントクラウドデータ処理装置の動作／方法のうちのいずれか一つ又はそれ以上の動作を実行させたり、実行するための指示(Ｉｎｓｔｒｕｃｔｉｏｎ)を含む。
説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。
実施例による装置及び方法に関する説明は互いに補完して適用できる。例えば、実施例によるポイントクラウドデータ送信方法は実施例によるポイントクラウドデータ送信装置又はポイントクラウドデータ送信装置に含まれた構成要素により行われる。また、実施例によるポイントクラウドデータ受信方法は実施例によるポイントクラウドデータ受信装置又はポイントクラウドデータ受信装置に含まれた構成要素により行われる。
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。
この明細書において、“／”と“,”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。
第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「~である場合」、「~の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。
発明の実施のための最善の形態で具体的に説明する。
本発明の思想や範囲内で本発明を様々な変更及び変形が可能であることは当業者にとって明らかである。よって、本発明は添付する請求範囲及びその同等な範囲内で提供される本発明の変更及び変形を含む。
Claims (20)
- ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化する段階であって、前記ジオメトリ情報は前記ポイントクラウドデータのポイントの位置を示す情報であり、前記特質情報は前記ポイントクラウドデータのポイントの特質を示す情報であり、
前記符号化されたポイントクラウドデータを含むビットストリームを送信する段階を含む、ポイントクラウドデータ処理方法。 - 前記ポイントクラウドデータを符号化する段階は、
前記ジオメトリ情報を符号化してジオメトリビットストリームを出力する段階と、
前記特質情報を符号化して特質ビットストリームを出力する段階を含む、請求項１に記載のポイントクラウドデータ処理方法。 - 前記ジオメトリビットストリームを一つ又はそれ以上のレイヤに対応する一つ又はそれ以上のジオメトリサブビットストリームで生成し、前記特質ビットストリームを前記一つ又はそれ以上のレイヤに対応する一つ又はそれ以上の特質サブビットストリームで生成する段階を含み、前記ビットストリームはジオメトリサブビットストリームを含むジオメトリスライス及び特質サブビットストリームを含む特質スライスを含む、請求項２に記載のポイントクラウドデータ処理方法。
- 前記ビットストリームはスライスに関連する情報を含み、前記スライスに関連する情報は前記ジオメトリビットストリーム及び前記特質ビットストリームが一つ又はそれ以上のスライスに分かれるか否かを示す第１情報を含む、請求項３に記載のポイントクラウドデータ処理方法。
- 前記第１情報が前記ジオメトリビットストリーム及び前記特質ビットストリームが一つ又はそれ以上のスライスに分かれることを示すと、前記スライスに関連する情報は前記ジオメトリサブビットストリーム及び前記特質サブビットストリームのレイヤがＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)に基づくか又は八分木構造の深さに基づくかを示す第２情報をさらに含む、請求項４に記載のポイントクラウドデータ処理方法。
- ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化するエンコーダであって、前記ジオメトリ情報は前記ポイントクラウドデータのポイントの位置を示す情報であり、前記特質情報は前記ポイントクラウドデータのポイントの特質を示す情報であり、
前記符号化されたポイントクラウドデータを含むビットストリームを送信する送信部を含む、ポイントクラウドデータ処理装置。 - 前記エンコーダは、
前記ジオメトリ情報を符号化してジオメトリビットストリームを出力し、前記特質情報を符号化して特質ビットストリームを出力する、請求項６に記載のポイントクラウドデータ処理装置。 - 前記ジオメトリビットストリームを一つ又はそれ以上のレイヤに対応する一つ又はそれ以上のジオメトリサブビットストリームで生成し、前記特質ビットストリームを前記一つ又はそれ以上のレイヤに対応する一つ又はそれ以上の特質サブビットストリームで生成するサブビットストリーム生成器を含むポイントクラウドデータ処理装置であって、前記ビットストリームはジオメトリサブビットストリームを含むジオメトリスライス及び特質サブビットストリームを含む特質スライスを含む、請求項７に記載のポイントクラウドデータ処理装置。
- 前記ビットストリームはスライスに関連する情報を含み、前記スライスに関連する情報は前記ジオメトリビットストリーム及び前記特質ビットストリームが一つ又はそれ以上のスライスに分かれるか否かを示す第１情報を含む、請求項８に記載のポイントクラウドデータ処理装置。
- 前記第１情報が前記ジオメトリビットストリーム及び前記特質ビットストリームが一つ又はそれ以上のスライスに分かれることを示すと、前記スライスに関連する情報は前記ジオメトリサブビットストリーム及び前記特質サブビットストリームのレイヤがＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)に基づくか又は八分木構造の深さに基づくかを示す第２情報をさらに含む、請求項９に記載のポイントクラウドデータ処理装置。
- ポイントクラウドデータを含むビットストリームを受信する段階であって、前記ポイントクラウドデータはジオメトリ情報及び特質情報を含み、前記ジオメトリ情報は前記ポイントクラウドデータのポイントの位置を示す情報であり、前記特質情報は前記ポイントクラウドデータのポイントの一つ又はそれ以上の特質を示す情報であることを含み、
前記ポイントクラウドデータを復号する段階を含む、ポイントクラウドデータ処理方法。 - 前記ビットストリームはジオメトリサブビットストリームを含むジオメトリスライス及び特質サブビットストリームを含み、一つ又はそれ以上のジオメトリサブビットストリーム及び一つ又はそれ以上の特質サブビットストリームは一つ又はそれ以上のレイヤに対応する、請求項１１に記載のポイントクラウドデータ処理方法。
- 前記ビットストリームはスライスに関連する情報を含み、前記スライスに関連する情報は前記ジオメトリビットストリーム及び前記特質ビットストリームが一つ又はそれ以上のスライスに分かれる否かを示す第１情報を含む、請求項１２に記載のポイントクラウドデータ処理方法。
- 前記第１情報が前記ジオメトリビットストリーム及び前記特質ビットストリームが一つ又はそれ以上のスライスに分かれることを示すと、前記スライスに関連する情報は前記ジオメトリサブビットストリーム及び前記特質サブビットストリームのレイヤがＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)に基づくか又は八分木構造の深さに基づくかを示す第２情報をさらに含む、請求項１３に記載のポイントクラウドデータ処理方法。
- 前記ポイントクラウドデータを復号する段階は、
前記スライスに関連する情報に基づいて前記ジオメトリサブビットストリームを復号する段階と、
前記特質サブビットストリームを復号する段階を含む、請求項１４に記載のポイントクラウドデータ処理方法。 - ポイントクラウドデータを含むビットストリームを受信する受信機であって、前記ポイントクラウドデータはジオメトリ情報及び特質情報を含み、前記ジオメトリ情報は前記ポイントクラウドデータのポイントの位置を示す情報であり、前記特質情報は前記ポイントクラウドデータのポイントの一つ又はそれ以上の特質を示す情報であることを含み、
前記ポイントクラウドデータを復号するデコーダを含む、ポイントクラウドデータ処理装置。 - 前記ビットストリームはジオメトリサブビットストリームを含むジオメトリスライス及び特質サブビットストリームを含み、一つ又はそれ以上のジオメトリサブビットストリーム及び一つ又はそれ以上の特質サブビットストリームは一つ又はそれ以上のレイヤに対応する、請求項１６に記載のポイントクラウドデータ処理装置。
- 前記ビットストリームはスライスに関連する情報を含み、前記スライスに関連する情報は前記ジオメトリビットストリーム及び前記特質ビットストリームが一つ又はそれ以上のスライスに分かれるか否かを示す第１情報を含む、請求項１７に記載のポイントクラウドデータ処理装置。
- 前記第１情報が前記ジオメトリビットストリーム及び前記特質ビットストリームが一つ又はそれ以上のスライスに分かれることを示すと、前記スライスに関連する情報は前記ジオメトリサブビットストリーム及び前記特質サブビットストリームのレイヤがＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)に基づくか又は八分木構造の深さに基づくかを示す第２情報をさらに含む、請求項１８に記載のポイントクラウドデータ処理装置。
- 前記デコーダは前記スライスに関連する情報に基づいて前記ジオメトリサブビットストリームを復号し、前記特質サブビットストリームを復号する、請求項１９に記載のポイントクラウドデータ処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024115905A JP2024138070A (ja) | 2019-06-28 | 2024-07-19 | ポイントクラウドデータ処理装置及び方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962868836P | 2019-06-28 | 2019-06-28 | |
| US62/868,836 | 2019-06-28 | ||
| PCT/KR2020/007064 WO2020262831A1 (ko) | 2019-06-28 | 2020-06-01 | 포인트 클라우드 데이터 처리 장치 및 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024115905A Division JP2024138070A (ja) | 2019-06-28 | 2024-07-19 | ポイントクラウドデータ処理装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022539762A true JP2022539762A (ja) | 2022-09-13 |
Family
ID=74061009
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021577652A Pending JP2022539762A (ja) | 2019-06-28 | 2020-06-01 | ポイントクラウドデータ処理装置及び方法 |
| JP2024115905A Pending JP2024138070A (ja) | 2019-06-28 | 2024-07-19 | ポイントクラウドデータ処理装置及び方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024115905A Pending JP2024138070A (ja) | 2019-06-28 | 2024-07-19 | ポイントクラウドデータ処理装置及び方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220360797A1 (ja) |
| EP (1) | EP3992910A4 (ja) |
| JP (2) | JP2022539762A (ja) |
| CN (1) | CN114073092A (ja) |
| WO (1) | WO2020262831A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023511263A (ja) * | 2020-01-07 | 2023-03-17 | エルジー エレクトロニクス インコーポレイティド | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置、及びポイントクラウドデータ受信方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114097242A (zh) * | 2019-07-12 | 2022-02-25 | 索尼集团公司 | 信息处理装置和方法 |
| EP3989176A4 (en) * | 2019-07-17 | 2022-08-17 | Sony Group Corporation | INFORMATION PROCESSING DEVICE AND METHOD |
| US11743501B2 (en) * | 2020-04-07 | 2023-08-29 | Qualcomm Incorporated | High-level syntax design for geometry-based point cloud compression |
| US20240323433A1 (en) * | 2021-07-14 | 2024-09-26 | Lg Electronics Inc. | Point cloud data transmission device and method, and point cloud data reception device and method |
| WO2023287213A1 (ko) * | 2021-07-14 | 2023-01-19 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2023287243A1 (ko) * | 2021-07-15 | 2023-01-19 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| EP4373098A1 (en) * | 2021-07-16 | 2024-05-22 | LG Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170347122A1 (en) * | 2016-05-28 | 2017-11-30 | Microsoft Technology Licensing, Llc | Scalable point cloud compression with transform, and corresponding decompression |
| US20190087978A1 (en) * | 2017-09-18 | 2019-03-21 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
| WO2019078000A1 (ja) * | 2017-10-16 | 2019-04-25 | ソニー株式会社 | 情報処理装置および方法 |
| WO2020071414A1 (ja) * | 2018-10-02 | 2020-04-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10223810B2 (en) * | 2016-05-28 | 2019-03-05 | Microsoft Technology Licensing, Llc | Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression |
| US11297346B2 (en) * | 2016-05-28 | 2022-04-05 | Microsoft Technology Licensing, Llc | Motion-compensated compression of dynamic voxelized point clouds |
| WO2019013430A1 (en) * | 2017-07-10 | 2019-01-17 | Samsung Electronics Co., Ltd. | COMPRESSION OF MAILLAGES AND POINT CLOUDS USING IMAGE / VIDEO CODECS |
| US10897269B2 (en) * | 2017-09-14 | 2021-01-19 | Apple Inc. | Hierarchical point cloud compression |
| US10861196B2 (en) * | 2017-09-14 | 2020-12-08 | Apple Inc. | Point cloud compression |
| US10909725B2 (en) * | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
| US10909726B2 (en) * | 2018-04-10 | 2021-02-02 | Apple Inc. | Point cloud compression |
| US11017566B1 (en) * | 2018-07-02 | 2021-05-25 | Apple Inc. | Point cloud compression with adaptive filtering |
| US11284091B2 (en) * | 2019-03-25 | 2022-03-22 | Apple Inc. | Video based point cloud compression-patch alignment and size determination in bounding box |
| WO2020213735A1 (ja) * | 2019-04-19 | 2020-10-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| JPWO2020251019A1 (ja) * | 2019-06-14 | 2020-12-17 | ||
| CN114450941A (zh) * | 2019-10-04 | 2022-05-06 | 松下电器（美国）知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置 |
| US11798196B2 (en) * | 2020-01-08 | 2023-10-24 | Apple Inc. | Video-based point cloud compression with predicted patches |
| US11729428B2 (en) * | 2020-10-05 | 2023-08-15 | Qualcomm Incorporated | Temporal scalability in geometry point cloud compression (G-PCC) |
| US11645812B2 (en) * | 2020-10-06 | 2023-05-09 | Qualcomm Incorporated | Inter-component residual prediction for color attributes in geometry point cloud compression coding |
-
2020
- 2020-06-01 EP EP20831198.5A patent/EP3992910A4/en active Pending
- 2020-06-01 JP JP2021577652A patent/JP2022539762A/ja active Pending
- 2020-06-01 WO PCT/KR2020/007064 patent/WO2020262831A1/ko unknown
- 2020-06-01 US US17/619,907 patent/US20220360797A1/en active Pending
- 2020-06-01 CN CN202080047710.3A patent/CN114073092A/zh active Pending
-
2024
- 2024-07-19 JP JP2024115905A patent/JP2024138070A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170347122A1 (en) * | 2016-05-28 | 2017-11-30 | Microsoft Technology Licensing, Llc | Scalable point cloud compression with transform, and corresponding decompression |
| US20190087978A1 (en) * | 2017-09-18 | 2019-03-21 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
| WO2019078000A1 (ja) * | 2017-10-16 | 2019-04-25 | ソニー株式会社 | 情報処理装置および方法 |
| WO2020071414A1 (ja) * | 2018-10-02 | 2020-04-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
Non-Patent Citations (1)
| Title |
|---|
| SCHWARZ SEBASTIAN ET AL.: "Emerging MPEG Standards for Point Cloud Compression", IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS, vol. Volume: 9, Issue: 1, JPN6023009474, 9 December 2018 (2018-12-09), pages 133 - 148, ISSN: 0005158994 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023511263A (ja) * | 2020-01-07 | 2023-03-17 | エルジー エレクトロニクス インコーポレイティド | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置、及びポイントクラウドデータ受信方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220360797A1 (en) | 2022-11-10 |
| EP3992910A1 (en) | 2022-05-04 |
| CN114073092A (zh) | 2022-02-18 |
| JP2024138070A (ja) | 2024-10-07 |
| WO2020262831A1 (ko) | 2020-12-30 |
| EP3992910A4 (en) | 2022-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7328447B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 | |
| KR102330527B1 (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 | |
| KR102295825B1 (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 | |
| JP7422883B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置、及びポイントクラウドデータ受信方法 | |
| JP7433442B2 (ja) | ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法 | |
| JP2022544571A (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。 | |
| KR20210040253A (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 | |
| JP7451576B2 (ja) | ポイントクラウドデータ処理方法及び装置 | |
| KR102355634B1 (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 | |
| JP2022539762A (ja) | ポイントクラウドデータ処理装置及び方法 | |
| JP7307260B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。 | |
| KR20210128442A (ko) | 포인트 클라우드 데이터 처리 장치 및 방법 | |
| US20220368751A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| US11895341B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| US11765387B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| EP4161073A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| US20220230360A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| JP2022538857A (ja) | ポイントクラウドデータ処理装置及び方法 | |
| JP2023508271A (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 | |
| US20230386088A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| JP7425207B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 | |
| CN116349229A (zh) | 点云数据发送装置和方法、点云数据接收装置和方法 | |
| JP2023507879A (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 | |
| US20220351421A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220210 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231226 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240319 |